"7 выводов о внедрении AI в бизнес на примерах крупных компаний __TLDR; начинаем со сбора evals__ Если кто знает больше всего про то, как внедрять OpenAI в бизнес, так это сама OpenAI. У них есть отчет ""AI in the Enterprise"" (PDF) про выводы по внедрению AI в 7 очень крупных компаниях. Самое интересное, на мой взгляд - это их описание парадигмы, которая отличает AI разработку от традиционного софта: Использование AI — это не то же самое, что разработка программного обеспечения или развертывание облачных приложений. Наибольшего успеха достигают компании, которые воспринимают AI как новую парадигму. Это ведёт к формированию экспериментального мышления и итеративного подхода, позволяющего быстрее получать результаты и добиваться большей поддержки со стороны пользователей и заинтересованных сторон. А второе интересное - упор на ""Start with evals"" в первом выводе по кейсу Morgan Stanley. Начинаем проекты со сбора тестов/бенчмарков для оценки работы моделей. __Отсюда еще следует - если в проекте нельзя просто и быстро протестировать качество системы с LLM под капотом, то следует сильно подумать, стоит ли за такой проект браться.__ __@sergeykadomsky____ в комментариях упомянул видео на тему, что разработка систем с LLM под капотом - это reliability engineering, а не capability engineering. Лучше и не скажешь!__ Video: Building and evaluating AI Agents  Сами выводы (каждый идет с небольшим рассказом о кейсе) 01. Начинайте проект с evals - Morgan Stanley (financial services) Используйте систематический подход для оценки того, насколько модели соответствуют вашим задачам. 02. Встраивайте AI в свои продукты - Indeed (крупнейший сайт вакансий) Создавайте новые клиентские сценарии и более персонализированные взаимодействия. 03. Начинайте сейчас и инвестируйте заранее - Klarna (платежная система) Чем раньше вы начнёте, тем быстрее будет расти отдача от инвестиций. 04. Настраивайте и адаптируйте модели - Lowe’s (home improvement) Точная настройка моделей под ваши конкретные задачи значительно увеличит их эффективность. 05. Передайте AI в руки экспертов - BBVA (banking) Люди, непосредственно работающие с процессом, лучше всего смогут улучшить его с помощью AI. 06. Уберите препятствия для разработчиков - Mercado Libre (ecommerce and fintech) Автоматизация процесса разработки программного обеспечения значительно повысит отдачу от AI. 07. Ставьте амбициозные цели по автоматизации - OpenAI (LLM обучают) Большинство процессов содержат рутинные задачи, идеально подходящие для автоматизации. Ставьте высокие цели. Исходный отчет про AI in the Enterprise: PDF Ваш, @llm_under_hood 🤗"