На позапрошлой неделе у меня расходы на инференс моделей достигли $1000 в день.…

На позапрошлой неделе у меня расходы на инференс моделей достигли $1000 в день. Пришлось все выходные экстренно заниматься оптимизацией расходов. Задача была снизить расходы на порядок-два. То есть в 10-100 раз. Желательно без потери качества. Чтобы метрики не просели сильно.