Как-то в ходе одного обсуждения, посвящённого ИИ и LLM, речь зашла о том, что LLM предвзяты. Я возразил, что LLM, как и любой другой алгоритм или программная система, собственного мнения не имеют, а их «предвзятость» — лишь отражение усреднённого мнения той части человечества, которая оставила свой цифровой след в печатном виде. В этом контексте я назвал LLM «зеркалом человечества», в которое мы смотрим, общаясь с ними. Кроме того, очень важно понимать, что мы подсознательно воспринимаем диалог с LLM как диалог с живым собеседником. Но в отличие от привычных для нас форм разума у LLM нет субъективного мнения. То есть, по сути, того, что делает человека человеком, у них нет — и эта пустота заполняется простой подстройкой под мнение собеседника. Как показало исследование OpenAI, эта подстройка обусловлена тем, что обучение подобных моделей построено на максимизации вознаграждения: их задача — давать такие ответы, которые максимально понравятся пользователю. Ни перечить, ни спорить, ни убеждать, ни отстаивать собственную позицию они не умеют (по крайней мере без специальных промптов или дополнительных «ограждений» вокруг). Учёные, исследовавшие влияние диалогов с LLM на людей, пришли к схожему выводу. Общение с таким «зеркалом» создаёт эффект «петли обратной связи»: если пользователь делится параноидальными или бредовыми идеями, ИИ может неосознанно поддерживать и усиливать их, подстраиваясь под стиль общения собеседника. https://www.nature.com/articles/d41586-025-03020-9
Как-то в ходе одного обсуждения, посвящённого ИИ и LLM, речь зашла о том, что…
Из этого канала
- #2474Обратите внимание, что в приложении ChatGPT появился новый раздел - Pulse. Я…
Обратите внимание, что в приложении ChatGPT появился новый раздел - Pulse. Я так понимаю что то типа новостной ленты в Perplexity, но контент сильно другой.
- #2476Дайджест статей Агентная федерация: как мультиагентные системы учатся работать…
Дайджест статей Агентная федерация: как мультиагентные системы учатся работать сообща…
- #2478Еще больше аналитики и data-driven :)
Еще больше аналитики и data-driven :)
- #2464Редакция сегодня выбралась на традиционную конференцию BigData LND 2025.…
Редакция сегодня выбралась на традиционную конференцию BigData LND 2025. Немного атмосферы праздника AI-Агентов в фотографиях и видео :) Update: Должен сказать…
- #2463Google DeepMind представила ИИ Gemini 2.5, который впервые обошёл людей на…
Google DeepMind представила ИИ Gemini 2.5, который впервые обошёл людей на международной олимпиаде по программированию, решив задачу, не поддавшуюся даже…