Экономия на инференсе
Сервис, который смотрит на реальный трафик ИИ и переводит дорогие вызовы моделей на маленькие специализированные модели, а платят ему из подтверждённой экономии.
Бизнес-модель та же, что у энергосервисных компаний: для каждого повторяющегося действия обучают небольшую модель на сервере заказчика, а HELM получает долю от сэкономленного. Первым шагом стал distillscan, открытый и рабочий инструмент. Он сканирует офлайн выгрузки трассировок LLM, группирует нагрузки и ранжирует их по оценке годовой экономии, так что видно, что уже можно переносить на более дешёвую модель.