Конференция M2020 - огонь. Не в смысле, что много передового AI (наше комьюнити куда передовее), а в смысле неожиданных инсайтов с полей. Например, про агентов в e-commerce и печальное состояние SotA в бизнесе. __Кстати, наверняка немало инженеров сталкивались с e-commerce: пилили сайты для магазинов, пилили что-то со складскими запасами, платежками, привинчивали платежные шлюзы, или хотя бы совершали покупки онлайн. Напишите в комментарии, если встречались. __ Так вот, сейчас в e-commerce пытаются дать агентам возможность покупать самостоятельно за людей. Вроде Agent Pay у MasterCard, Intelligent Commerce у Visa, или ещё тысячи вариантов у компаний поменьше. Чтобы агенты могли безопасно покупать и подписываться за людей - создают защищенные среды для их работы, дают отдельные ограниченные ключи, привязывают к компаниям, контролируют максимальные суммы, проверяют, что агент запускается в защищенной среде и многое другое. Единственное, что компании не делают - не проверяют поведение самих агентов на устойчивость к ошибкам, инъекциям, системному дрифту, двусмысленностям и просто новым рискам. Почему так - ещё предстоит разобраться. И если рассказать, что «а вот наша платформа, которая запускает симуляции неожиданных ситуаций в виртуальных мирах, инженеры со всего мира пилят агентов для их преодоления, и мы вместе верифицируем и анализируем их поведение», то это вызывает разные реакции. От удивления, что так можно, до острого интереса. И ведь это типично не только для e-commmerce. В большей части случаев внедрения AI/LLM в бизнес, этот самый бизнес не задумывается или не знает, что все эти системы с LLM под капотом можно тестировать, верифицировать и улучшать. Продолжаю наблюдения. Ваш, @llm_under_hood 🤗