"AI-помощники при работе с кодом. Взгляд в будущее - Евгений Колесников - Platform Engineering Night (Рубрика #AI) Крутое выступление Евгения из команды Yandex Infrastructure, в котором он делится глубокими мыслями про развитие AI copilot инструментами. Женя выступал с этим докладом на Platform Engineering Night в Т-Банке. Я уже рассказывал про выступления моих коллег оттуда: ""AI и Platform Engineering"" от Игоря Маслова и ""Разработка собственного AI-ассистента для кода: спринт или марафон?"" Дениса Артюшина. Ребята рассказывали про наши подходы к интеграции AI в SDLC) и интересно сравнить мысли из тех докладов с идеями Жени, что я постарался изложить ниже 1. Реальность разработки По стате разработчики пишут код всего 40 минут - 120 минут в день, при этом комитят в среднем только 40 строк кода в день. Основная проблема не в скорости печати, а в сложности мыслительных процессов, что идут на трех уровнях - Ментальная модель - что мы хотим сделать - Семантическая модель - как мы это будем делать - Синтаксическая модель - непосредственно сам код ИИ сейчас помогает в основном на последнем этапе, что объясняет ограниченность эффекта. 2. Режимы работы разработчиков Существуют два основных режима: - Flow - сотояние потока, когда код ""летит из-под пальцев"". Интересно, что в DevEx фреймворке Flow - это одна из составлящих, кстати, я делал обзор whitepaper о нем - Exploration - поиск информации в документации, интернете, общение с ИИ Понимание этих режимов критично для эффективного использования ИИ-инструментов. 3. Чего хотят разработчики от ИИ По мнению Евгения ожидания инженеров такие - Переложить на AI рутинные операции, например, написание юнит-тестов - Общаться на естественном языке с последующим уточнением через промпты - Получить детерминированные результаты от недетерминированного genAI Интересно, что у Google был whitepaper буквально с таким названием ""What Do Developers Want From AI?"" - я его разбирал раньше, а потом еще записал эпизод подкаста ""Research Insights"" вместе с моим коллегой, Колей Бушковым, где мы разбирали этот whitepaper 4. Бизнес-приоритеты Бизнес хочет сокращения time to market, снижения издержек, а также предсказуемости. Но обычно все упирают на сокращение издержек, когда говорят, что ""90% кода будет писаться ИИ"". Но часто это не означает увольнение 90% программистов, а увеличение продуктивности существующих команд. Евгений привел пример Дарио Амодея с его тезисами из цитаты выше - а я разбирал это выступление раньше 5. Проблема измерения эффективности Критически относитесь к цифрам вроде ""повышение продуктивности на 55%"". Продуктивность - неопределенный термин, зависящий от множества факторов. Пока нет единого способа точно измерить пользу от ИИ-инструментов. Интересно, что я уже пару раз выступал с темой навроде ""Зачем заниматься темой developer productivity в большой компании"" 6. LLM ≠ Продукт Использование последней языковой модели не гарантирует успех продукта. UX/UI, правильный промптинг и интеграция в рабочий процесс часто важнее, чем выбор конкретной модели. 7. Правильные метрики Стоит измерять NPS, CSAT в связке с retention (у SourceCraft от Yandex между 60-70%), cycle time, lead time и влияние на бизнес-метрики. Метрика счастья пользователя - интегральный показатель принятия/отклонения подсказок. 8. Снижение хайпа - это хорошо За 2023-2024 год интерес к ИИ в некоторых областях упал и это хорошо - разработчики начинают реалистично оценивать возможности и ограничения ИИ-инструментов, что ведет к более эффективному использованию. 9. Будущее: от генерации к агентам Развитие сейчас идет от генеративных моделей к агентским. Агенты проактивно решают задачи, но пока крайне ненадежны. Следующий этап развития - сделать агентов более надежными и предсказуемыми. Чем глубже интеграция ИИ в инфраструктуру компании, тем больше выигрыш. Если подводить итоги, то Евгений считает, что AI-помощники однозначно полезны, но важно понимать их ограничения и правильно интегрировать в рабочий процесс, а не гнаться за хайпом. #AI #Software #Engineering #Architecture #Agents"