"Одну важную вещь я поймал на днях с AI консилиумами: когда вы просите консилиум дать свое мнение по определенному вопросу, то важно правильно ограничить видимость агентов; в противном случае - они прочитают факт/вывод в папке проекта и выдадут один и тот же, уже известный ответ. И тогда вся идея разнообразия мнений разбивается о стенку Что у меня произошло: Я в течение 4 дней исследовал одну проблему на пару с дружбаном - why-tree, просмотр сессий и тп. И на какой-то из итераций с консилиумом я заметил, что они стали оперировать фактами, которые им не должны были быть известны. Тут можно было подумать, что они или гении, или нагаллюцинировали... Начал копать и заметил, что у некоторых участников подозрительно много вызовов тулов —> выяснилось, что поскольку у них были тулы, чтобы читать файлы - то они решили, прежде чем дать свое мнение, почитать все что есть в проекте (ну правильно же!), ну и наткнулись на этот контекст, а далее уже было достаточно сложно их мнение ""разнообразить"". К слову, цитата из моего поста 3 года назад: В Empatika Open, посвященной моему обучению в Stanford, я рассказывал про неприятный феномен групповых обсуждений, когда участники фокусируются на общем знании, теряя уникальное знание каждого. Как снизить вероятность такого поведения? Собственно, именно таким неосторожным загрязнением (contamination) контекста мы и можем предопределить однообразие мнений участников консилиума - как человеческих, так и AI. Как лечится? 1) можно ограничить тулы, что даете субагентам (не давать им читать файлы) 2) явно попросить закарантинить файлы, которые им не должны быть доступны 3) давать разные задачи участникам - ""опровергни"", ""найди чего не хватает"", ""перепроверь цифры"", ""скажи, что тебя переубедит"" Attention is all you need 😉 P.S. Скилл я, разумеется, по мотивам проапдейтил, но пару седых волос точно прибавилось"
"Одну важную вещь я поймал на днях с AI консилиумами: когда вы просите…
Из этого канала
- #1782В пятницу с 17 по 19мск расскажу и покажу как мы на пару с дружбаном управляем…
В пятницу с 17 по 19мск расскажу и покажу как мы на пару с дружбаном управляем продажами: 1) Исходящие продажи 2) Обработка входящих обращений 3) Подготовка и…
- #1783"Почти тысяча турецких старшеклассников готовится к экзамену по математике.…
"Почти тысяча турецких старшеклассников готовится к экзамену по математике. Одной группе дают chatgpt; при подготовке эта группа решает на 48% лучше группы…
- #1785Про применение AI в продуктовой аналитике - запускаю AI Product Analyst в…
Про применение AI в продуктовой аналитике - запускаю AI Product Analyst в августе: 1) как искать узкие места в продукте на пару с дружбаном, при этом не попав…
- #1780"Уроки холодного аутрича - апдейт 20 месяцев спустя В ноябре 2024 я делился…
"Уроки холодного аутрича - апдейт 20 месяцев спустя В ноябре 2024 я делился ощущениями про холодный аутрич в LinkedIn —> пора сделать апдейт.
- #1779"Скилл, сэкономивший мне несколько часов в неделю Я часто говорю, что в…
"Скилл, сэкономивший мне несколько часов в неделю Я часто говорю, что в продуктовой аналитике нужно комбинировать количественный и качественный подходы.