"Заметки с полей - 3: Про доверие и контроль (продолжение постов 1 и 2) В недавнем отчете Anthropic была такая странная картинка (см аттач): что AI теоретически может в разных профессиях (синима) vs что он реально делает (красным). Давайте возьмем Sales, например - как вы считаете, почему такой разрыв? Подумайте пару секунд и продолжим . . . По-моему, ключевой барьер - недоверие к технологии. Перед нами не карта возможностей, это имхо карта недоверия. Откуда возникает это недоверие, которое драйвит желание контроля? Но это желание контроля сложно скейлить, потому что это делает человек, и в итоге, как с пулл реквестами, все упирается в него? И, главное, что с этим делать? 1) «Algorithm Aversion» - мы легче прощаем ошибку человеку, чем алгоритму. Один промах модели, и доверие к ней обрушивается, даже если по цифрам она точнее человека. Выходит, одна галлюцинация агента бьёт по доверию непропорционально — а значит, осторожность CTO вполне логична. Мы предпочитаем людей алгоритмам из-за: - стремления к агентности (я vs модель) - убеждения, что у других есть уникальное знание, недоступное алгоритмам - непонимания как машины работают (не могу тупо посмотреть промпт) - невозможности предсказывать поведение AI агентов, даже при длительном наблюдении за ними - непрозрачности, кому пожаловаться, если агент накосячил Я нечто такое наблюдал на себе, когда бесился, что некоторые рекламные площадки не дают возможность настраивать рекламу, а говорят ""мы все сделаем за вас"". 2) Интересно, что люди вполне толерантны к неидеальному алгоритму, если дать им контролировать процесс тестирования алгоритма и корректировки его аутпута. К примеру, вот так мы потихоньку ""сближаем"" клиентов и AI агентов —> то есть мы рассматриваем это доверие как процесс, и двигаемся от ""контролируют аутпут"" к ""хуяк хуяк и в продакшн"". Иногда, кстати, достаточно просто показать уровень уверенности в аутпуте или успешность в прошлом, чтобы подтолкнуть человека к ""принятию"". Мы на днях обсуждали, кстати, что когда claude code просит выбрать из нескольких опций, то recommended дает очень сильный bias для выбора этой опции, особенно когда не понимаешь разницы. И что хорошо бы давать опцию а-ля ""не понимаю разницы или как выбрать"" 3) Интересно, что если мы считаем, что эффективное выполнение задачи несёт в себе большую долю субьективности, то мы не особо окей с тем, чтобы это делала машина (сравните выбор романтического партнёра vs гуглмапсовские указания, как ехать). А что вообще такое субьективное? Имхо, когда твои персональные критерии выбора отличаются от общей популяции. Причем, имхо, чем более senior человек, тем больше это проявляется (и вполне разумно) 4) Неуверенность в общности целей: интересно, что зачастую у нас вопрос к модели не про ""сможет ли она"" (помним синий график в аттаче, да?), а ""будет ли агент действовать в моих интересах?"" (не даст скидку по тупому поводу, например). Как мы могли бы демонстрировать общность - Прозрачность? Возможность влиять на цели и ограничения? Что-то еще? 5) У Эдгара Шейна есть релевантное: человек меняет свое поведение, когда «тревога выживания» (не изменюсь — проиграю) перевешивает «тревогу обучения» (боюсь оказаться некомпетентным в новом). Каюсь, я как CEO несколько раз педалировал на первое в общении с коллегами — «не перестроимся, нас съедят конкуренты». Но ведь есть и вторая стратегия, следующая из этого - можно снижать тревогу обучения. Как дать команде психологическую безопасность снова побыть новичком? Велком в комментарии === Итого, к чему я это? Ни один из пунктов выше - про то, на что модель способна. Все 5 про то, готовы ли мы ей довериться. А это две вещи: отношения с агентом (агентность, предсказуемость, общие цели) и мы сами (не страшно ли расписаться, что я больше не главный или что я больше не пишу код). Я считаю, что нам надо рассматривать и этот дисконнект из отчета Anthropic, и разницу позиций CEO и CTO, как проблему доверия и дизайнить это ""принятие"", а не ~~только~~ продавливать силой или угрозами конкуренции. Хотя.... так [не продавливать] наверное медленнее?!"