На позапрошлой неделе у меня расходы на инференс моделей достигли $1000 в день. Пришлось все выходные экстренно заниматься оптимизацией расходов. Задача была снизить расходы на порядок-два. То есть в 10-100 раз. Желательно без потери качества. Чтобы метрики не просели сильно. Пересобрал пайплайн обработки данных, изучил поведение пользователей и поменял дефолтное-поведение в UI. В итоге за первую неделю расходы в среднем упали до 50$ в день, то есть в 20 раз. На этой неделе уже $20 в день (в 50 раз ниже). Завтра в 15:00 проведу вебинар, где расскажу про архитектуру AI-first тендерного агрегатора: bids.do Планирую рассказать и об этом опыте тоже. Регистрация доступна всем желающим по ссылке: https://datanomix.pro/bids_do-architecture