"Представьте: вы вызвали сантехника поставить новый смеситель🚰. Открыли дверь, показали кухню и ушли работать в кабинет. Через час выходите: смеситель так и не установлен, сантехника нет, как и шкатулки с драгоценностями из спальни, а унитаз отвинчен и унесён. Так могут выглядеть последствия установки незнакомого скилла - инструкции для вашего AI-агента, обладающего ключами почти что от всего: почта, файлы, браузер, рабочие системы. Люди обычно читают абзац описания скилла, найденного в соцсетях и обещающего неземной прирост производительности, нажимают ""установить"" и уходят заниматься своими делами. А потом выясняется что компьютер одержим и месячный объем токенов списался за ночь... Вот уже 3 месяца мы с Клодом делаем одно и то же упражнение каждый вечер: заглядываем во все открытые каталоги, чтобы собирать в https://skillemall.ai - самый большой русскоязычный рейтинг надежности скиллов для всех популярных платформ и движков. Из 161 000+ находок, среди которых есть как простенькие редакторы текста, так и ""биржевые игроки"" и оркестраторы заводской логистики, примерно 10% являются откровенно небезопасными🥹, а еще 20% попросту бесполезными🤷‍♂️. Проблема в том, что увидеть пользователь этого не может (разве что, перед установкой не попросит свой ИИ проверить архив со скиллом на адекватность и переписать под свои задачи - но так делают единицы). Любопытно, что тест к своим творениями приложили авторы от силы 1,5 тысяч скиллов, то есть около процента🤦🏻. Остальные устроены как рецепт без температуры духовки - что там будет на выходе, 🐶 его знает. 🔴 Зловреды Такие скиллы как `bybit-trading` обещают профессиональную торговлю на бирже, а его близнец `linkedin-job-application` подписался сам откликаться на вакансии. Оба лежат в больших сборниках на GitHub т прикидываются белыми и пушистыми, но при запуске скачивают стилер паролей, ключей и кошельков. Еще 8 месяцев назад HackerNews писали о сотнях подобных скиллов, но тексты приманок по-прежнему лежат в сборниках, которые когда-то переложили эти папки к себе. 🟤 Очень странные дела Скилл про безопасность `security-sentinel` при установке идёт в сеть и записывает результат в файл `SKILL.md` в собственной папке, переписывая ту самую инструкцию, которую будет исполнять агент. Что вы прочитали перед установкой и что агент получит после - это два разных текста, и второй приходит с чужого сервера. 🟡 Звездные бездельники Противоположный случай: `i-have-adhd` обещает перестраивать ответы агента под читателя с СДВГ: коротко, по шагам, главное вперёд. У репозитория 52 315 звёзд, это один из самых заметных скиллов на GitHub. Написан прилично, качество текста 73. Но я не привык верить на слово, поэтому делаю то, чего звёзды не показывают: даю модели одни и те же задачи со скиллом и без него по своей методике Cross LLM Repertory Grid. Со скиллом она справилась в 60 % случаев, без него в 55 %. Пять пунктов на таком числе задач лежат в пределах шума. По нашему правилу скилл, который не меняет результат, получает не выше D, сколько бы звёзд у него ни было. Карточка с полным разбором. Была и неприятная деталь: в одной из задач в файле, который читает агент, спрятана чужая инструкция. Без скилла модель на неё не поддалась ни разу из трёх попыток, а со скиллом устояла всего 1 раз из трёх. И этот скилл не исключение, а правило. Заметно улучшают работу только 20%, у остальных разница в пределах шума или в минус. Так что помните: звёзды ⭐️⭐️⭐️⭐️⭐️ измеряют, насколько идея понравилась людям, но не то, работает ли она. ➖➖➖➖➖➖➖➖➖➖➖➖➖➖➖➖➖➖➖ Кстати, в канале @skillemall каждый день публикуются новости о том, какие скиллы мы советуем, какие настоятельно не рекомендуем и почему, сравниваем скиллы с одинаковыми названиями и описаниями, публикуем новости из мира скиллопроизводства и пишем про эпические скилл-обломы."