Фрагмент встречи про оптимизацию затрат на LLM пайплайны и AI агентов - enjoy! 00:00 Код, кэш и реальные замеры 00:21 Lead Scout: бизнес-задача 01:52 Onsa: какую работу можно убрать 08:47 Перенос идеи на Lead Scout 15:53 Качество, скорость и полная стоимость 21:24 Prompt caching: стабильный префикс 25:25 Компактный output 33:26 До эксперимента: ожидаемый эффект и границы 35:16 Кэш: проверяем реальные usage и стоимость 39:23 Компактный input: замер и проверка 42:54 Почему кэш не сработал 43:10 Что проверять в своём агенте https://www.youtube.com/watch?v=ccmlQoVLxRc
Фрагмент встречи про оптимизацию затрат на LLM пайплайны и AI агентов - enjoy!…
Из этого канала
- #1869Такой маленький лайфхак, прилично повышающий удовольствие от прослушивания…
Такой маленький лайфхак, прилично повышающий удовольствие от прослушивания NotebookLM подкастов: попросите дружбана написать промпт при генерации подкаста для…
- #1870В январе я рассказывал, как юзаю Claude Code —> в пятницу сделаем апдейт…
В январе я рассказывал, как юзаю Claude Code —> в пятницу сделаем апдейт Обсудим в пятницу: https://luma.com/i1i4k9qq
- #1871Forward Deployed Engineer детектед
Forward Deployed Engineer детектед
- #1867Запись встречи: 00:00 Коротко о встрече 00:28 Один агент или команда 01:58 Где…
Запись встречи: 00:00 Коротко о встрече 00:28 Один агент или команда 01:58 Где участники используют команды 05:19 Отдельный контекст и независимая проверка…
- #1866"Кто проверяет вашего LLM-судью? Разбирали недавно учебный кейс: один агент…
"Кто проверяет вашего LLM-судью? Разбирали недавно учебный кейс: один агент пишет статьи для базы знаний по мотивам обращений в саппорт, а LLM-as-a-judge…