"Такие заметки потом и подаются в агента вместо полного транскрипта интервью + последние 5000 символов транскрипта. Агента собрали в виде веб-приложения с голосовым общением, реализованным через комбинацию OpenAI TTS + Whisper. Тут не до конца понятно, упоминают также их Audio модель, а это gpt-4o-audio (но тогда непонятно, зачем whisper). 🤖 Симулякр Архитектура агента-симулякра тоже наследует предыдущей работе. У агента есть память, ""memory stream"" в текстовой форме. Есть модуль рефлексии, синтезирующий элементы памяти в рефлексию (аналогично https://t.me/gonzo_ML/1481). Промптинг LLM-ки транскриптом интервью для предсказания реакции респондента в режиме одиночного chain-of-thought (CoT) может пропустить латентную информацию не выраженную явно в тексте. Чтобы явно вытащить эту информацию из транскрипта был введён специальный модуль “expert reflection”, которого промптят чтобы он действовал в роли доменного эксперта. Если точнее, то генерятся четыре набора рефлексий от лица четырёх различных экспертов: психолог, поведенческий экономист, политолог и демограф. Используется GPT-4o, которую для каждого респондента и эксперта просят сгенерить до 20 наблюдений или рефлексий. Эти рефлексии генерятся единожды и сохраняются в памяти агента. Когда симулякр должен предсказать ответ респондента на заданный вопрос, сначала происходит классификация (через промптинг), какой из четырёх экспертов лучше бы на это ответил. Затем подтягиваются рефлексии выбранного эксперта, и вместе с транскриптом интервью используются для промптинга генерации ответа (тоже через GPT-4o). Все вопросы с множественным выбором или численным ответом, модель промптят использовать CoT. Интересно, что бы изменил переход на reasoning модель типа o1/o3/R1? Если для поведенческого эксперимента важно поддержание контекста, то полученные агентом стимулы и его ответы дописывают текстом к транскрипту и рефлексиям. 🏋️‍♀️ Эксперимент Далее полученным агентам дают ту же самую батарею тестов и экспериментов (GSS, BFI-44, пять экономических игр, пять поведенческих экспериментов), сравнивают с настоящими ответами респондента. В качестве бейзлайнов сравнивают с двумя: 1) агент с демографическими атрибутами (вытянули из ответов GSS) и 2) параграф текста, суммаризирующий конкретную персону (респондентов просили написать о себе бриф). На GSS, BFI-44 и пяти играх считали __normalized accuracy__ как отношение точности предсказания агента к__ internal consistency__, точности репликации человеком своих ответов через две недели. Для категориальных задач использовалась accuracy, для числовых mean absolute error (MAE). Для GSS средняя normalized accuracy равна 0.85 с std = 0.11, получена как 68.85% точность агента делённая на 81.25% точность репликации ответа самим человеком. Агент на основе интервью заметно лучше бейзлайнов (и сильно выше рандома). На BFI тоже лучше. В экономических играх значимой разницы с бейзлайнами нет. Провели ещё сколько-то разных экспериментов, включая собирание композитного агента с компиляцией всех ответов респондента на GSS, BFF, игры, но без интервью. С интервью лучше, даже если оттуда вырезать рандомно до 80% транскрипта или сгенерировать короткое саммари из буллет пойнтов. На пяти поведенческих экспериментах (например, про “allocator’s illusion” https://www.pnas.org/doi/10.1073/pnas.1606574113) и люди, и агенты реплицировали 4 из 5 экспериментов. То есть агенты действуют аналогично и на них можно проверяться. Ещё проверили, есть ли баесы по полу, расе или идеологии, оценивали разницу между группами, перформящими лучшу и хуже всех. Агенты на основе интервью лучше агентов на основе демографии или персон. Интервью рулят короче. ———"