Экономия на инференсе

Сервис, который смотрит на реальный трафик ИИ и переводит дорогие вызовы моделей на маленькие специализированные модели, а платят ему из подтверждённой экономии.

Роль
Идея
Статус
В столе

Бизнес-модель та же, что у энергосервисных компаний: для каждого повторяющегося действия обучают небольшую модель на сервере заказчика, а HELM получает долю от сэкономленного. Первым шагом стал distillscan, открытый и рабочий инструмент. Он сканирует офлайн выгрузки трассировок LLM, группирует нагрузки и ранжирует их по оценке годовой экономии, так что видно, что уже можно переносить на более дешёвую модель.

Связанные записи