"AI-рисерчеры настолько зашеймили Anthropic за скрытые ограничения Fable, что стартап поменял политику менее чем за 48 часов после релиза После выхода модели на ИИ-полях разгорелся настоящий скандал. Если помните, Anthropic прямо заявляли, что будут открыто переадресовывать запросы, связанные с химией/биологией/кибезбезом на Opus 4.8, сообщая об этом пользователю. Тут никаких претензий. Но оказалось, что помимо прочего был еще ""мелкий шрифт"". В системной карте невзначай было написано, что запросы, которые засчитают за попытки дистилляции, будут обрабатываться путем прямого изменения и ухудшения ответов модели. Молча. На практике же оказалось, что правило касается не только дистилляции, но и в целом почти любой ИИ-разработки. То есть дело обстояло так: инженеры не получали никаких сообщений о срабатывании guardrail, не могли понять, что им урезают возможности и просто получали подпорченные ответы. Вскрылось все довольно быстро, и возмущению не было предела. Поведение стартапа назвали скрытым саботажем, и дошло до того, что Anthropic публично извинились и заявили, что меняют политику. Теперь, если запрос выглядит как ""попытка разработки сильного ИИ"", система будет явно сообщать об отказе или переводе запроса на более слабую модель. Исходную политику Anthropic оправдали тем, что ""пытались снизить риск того, что очень сильные возможности модели будут разнесены дальше и станут доступнее для злоумышленников"" и сказали, что просто ""выбрали неправильный трейд-офф""."
"AI-рисерчеры настолько зашеймили Anthropic за скрытые ограничения Fable, что…
Из этого канала
- #9369"Как научиться понимать, что AI-продукт действительно стал лучше? Когда новый…
"Как научиться понимать, что AI-продукт действительно стал лучше? Когда новый промпт показывает хорошие результаты на нескольких примерах, или после смены…
- #9370Аналитики из SemiAnalysis посчитали, сколько действительно костов заложено в…
Аналитики из SemiAnalysis посчитали, сколько действительно костов заложено в подписки на ИИ Они взяли каждую из подписок OpenAI и Anthropic (за 20$, за 100 и…
- #9362Google выпустили открытую диффузионную языковую модель DiffusionGemma Год назад…
Google выпустили открытую диффузионную языковую модель DiffusionGemma Год назад они релизили Gemini Diffusion, но тогда попробовать необычную модель можно было…
- #9361AWS решили ультануть и выдали, что вайбкодинг замедляет команды Больше кода,…
AWS решили ультануть и выдали, что вайбкодинг замедляет команды Больше кода, созданного с помощью ИИ, не делает вашу команду быстрее.
- #9360Что мешает внедрению AI в бизнесе Внедрение AI в бизнес-процессы упирается не…
Что мешает внедрению AI в бизнесе Внедрение AI в бизнес-процессы упирается не только в модели и железо. Часто проблема в качестве, структуре и смысле данных.