Мы мигрировали с PyTorch на JAX. Инференс ускорился в 3 раза, но команда чуть не развалилась
Наша команда 2 года писала на PyTorch. Все привыкли, был наработан опыт, библиотеки, инструменты. Но когда нам нужно было масштабировать инференс до 10,000 RPS, мы уперлись в потолок. Мы решили попробовать JAX. Идея была простая: XLA-компиляция дол…
Читать далее
❤️ 11
🔄 0
💬 0
Войдите, чтобы лайкнуть или прокомментировать