"Тут исследователи из Пенсильванского университета решили по-взрослому проверить вот эту нашу промпт-инженерную магию. А именно, работает ли трюк ""Веди себя как эксперт по..."". Ну, т.е. когда вы просите нейронку притвориться профессором квантовой физики, чтобы она лучше ответила на ваш тупой вопрос. Взяли шесть разных моделей (GPT-4o, GPT-4o-mini, o3-mini, o4-mini, Gemini 2.0 Flash, Gemini 2.5 Flash), навалили им сложнейших вопросов уровня аспирантуры по физике, химии, праву и т.д. и начали эксперимент. Проверяли три подхода: Эксперт в теме: просили модельку стать физиком для решения задач по физике. Эксперт не в теме: просили стать физиком для решения задач по юриспруденции. Тупой профан: давали роль обывателя, подростка или вообще ребёнка, который только учится ходить. И знаете что? Это всё почти полная хуйня. Когда нейронке давали роль эксперта в вопросе, её точность никак существенно не улучшалась. Вообще. Когда эксперта просили отвечать не по своей теме, результаты иногда становились хуже. Gemini так вообще впадал в экзистенциальный кризис с тряской на повышенной амплитуде и часто отказывался отвечать, заявляя, что ""не может с чистой совестью"" давать ответ, так как не хватает экспертизы. Ну а когда модельки просили стать ребенком — они послушно начинали нести дичь и стабильно показывали самые хреновые результаты. Вывод: все популярные гайды, где советуют начинать промпт с назначения роли эксперта, по ходу, можно сливать в унитаз. Для изменения тона или стиля ответа это работает хорошо, но для повышения фактической точности на сложных задачах абсолютно бесполезно, а иногда даже вредно. Железка умнее от ваших ролевых игр не становится. тут подробнее"