Хочу собрать команду, которая будет искать, где наши агенты работают плохо Обсуждали на днях, как выстроить в Plurio отдельную команду оценки эффективности агентов. Чем глубже разбираемся, тем больше понимаю, сколько там работы. Недавно прочитал разбор одного ML-проекта. Команда долго строила систему, которая доставала информацию из больших документов. Получалось так себе. В какой-то момент людей разделили на две группы. Первая занималась поиском ошибок и тестами. Вот входные данные, вот что система должна выдать, вот что получилось. Задача — находить как можно больше разных косяков, особенно важных для конечного пользователя. Всё собиралось в огромную таблицу. Красное — плохо. Жёлтое — частично получилось. Зелёное — работает как надо. Вторая команда искала группы похожих ошибок и исправляла их. Починил одну причину — сразу целый участок стал зелёным. Одни молодцы, когда добавляют красного. Другие — когда превращают его в зелёное. Меня зацепило, что команды были сопоставимы по размеру. Искать, где система работает плохо, — полноценная большая работа. Причём полезно находить разные классы проблем. Набить таблицу похожими ошибками легко, но их потом закроют одним исправлением. А вот обнаружить важный сценарий, про который никто не подумал, — это ценно. И ещё важен быстрый цикл. Проверки на подготовленных данных прогоняются за минуты: поправил → проверил → посмотрел, что изменилось. Постепенно часть этой работы можно отдавать агентам: пусть предлагают изменения, запускают проверки, сравнивают результаты. Мне нравится и разделение ролей. Когда сам находишь ошибку и сам же должен её исправлять, легко начать торговаться с собой: этот случай редкий, здесь пока потерпим. У отдельной команды есть возможность продолжать искать проблемы, пока остальные чинят найденные. У нас в медиабаинге к этому добавляется проверка самой методологии. Агент может аккуратно выполнить все инструкции. Но насколько хороши сами инструкции? Какая структура аккаунта лучше работает в конкретной ситуации? Когда остановить креатив, а когда дать ему ещё время? Где полезно вмешаться, а где площадка сама справляется лучше? Таких вопросов дофига. Нужно сравнивать подходы, проводить эксперименты и понимать, при каких условиях один действительно лучше другого. И эта работа нужна сразу для нескольких вещей: — Улучшать агентов: видеть слабые места и проверять, что изменения делают систему лучше. — Показывать результаты клиентам: что изменилось благодаря нашей работе, какие задачи автоматизированы, сколько времени освободилось, как меняется результат. — Делать оферы с гарантиями и продавать: понимать, какой результат можем обещать, при каких условиях и как будем проверять, что его достигли. Поэтому здесь будет целая команда. С отдельной задачей исследовать, проверять и постепенно автоматизировать сам цикл улучшений. А теперь — удивительно своевременная интеграция Вы могли заметить, что по ходу поста нам понадобилась целая новая команда. К счастью, 4dev.com как раз помогает оформлять работу с исполнителями. Через 4dev.com можно подключать специалистов из 150+ стран и выстраивать работу с распределённой командой в одной системе: — приглашать исполнителей и видеть статус их подключения; — настраивать роли, доступы и порядок согласований под свою команду; — вести задачи, статусы, договорные и закрывающие документы в одном месте. История работы и документы остаются доступны команде — можно посмотреть, что происходило и на каком этапе сейчас каждый процесс. Все готово к проверке в любой момент. Если хотите привести эту часть в порядок — запишитесь на демо 4dev.com. Покажете, как у вас всё устроено сейчас, а ребята расскажут, как это можно организовать на платформе.