"⚪️ Loop Engineering Какое то время назад на хайпе проскакивала тема Loop. Русскоязычные названия почему то в голову лезут не совсем приличные! Но тему раскачивали и Борис из Клод Кода, и куча других известных персонажей. Суть Loop: агенты работают в цикле, пока не выполнят задачу. Такой режим работы поддерживается штатными функциями упряжек типа /goal команд. ▶️ Поделюсь своим опытом. Да, у меня давно существвует и в какой то мере отработан стандартный SDLC флоу : цепочка этапов prime -> discuss -> specify -> plan -> code -> merge. Но это не тот цикл, о котором хотел поговорить. Для некоторых проектов у меня есть задача отработки какой то функциональности. В частности, в боте, работающем с базой знаний - это пайплайн импорта (когда бот ""читает"" и перерабатывает знания из источников разного рода в граф), и пайплайн ""ответов"" по этой базе. Что я сделал. Я создал систему агентных тестов (назвал их экспериментами, хотя это скорее эвалы - ну, исторически такой вот термин, хоть и не точный). Агент, используя специальный раннер, запускает код пайплайна на заранее подготовленных данных определенного формата. По итогам запуска, делается агентное ревью результатов, мульти-аспектное исследование субагентами качества переработки знаний по разным критериям. Да, вы правы - это весьма похоже на интеграционный тест: только логика оценки результатов не детерминированная, а агентная. ▶️ Так вот. Я сделал простой цикл: прогнав ""эксперимент"" агент оценивает результаты. Если выявлены существенные отклонения по качеству, агент начинает короткий SDLC цикл: • смотрит выявленные существенные отклоненния • устанавливает причину в коде • анализирует ""истинную причину"" - смотрит ""сверху вниз"", чтобы чинить не следствия, а причины • создает новый протокол на устранение недоработок • прогоняет протокол по стандартному флоу plan -> code, там на plan много проработок протокола ""вглубину"" еще делается; • с исправлениями запускает эксперимент снова - цикл повторяется Все это работает под командой /goal в кодексе. ▶️ Наблюдения: в принципе, схема рабочая. Циклы крутятся по суткам и больше, и достигают результатов. Один пайплайн на ответы был доработан, циклов было сделано 8, времени - 3 часа примерно. Результат хороший. С циклом на импорт знаний ситуация похуже - он сильно сложнее, и крутится уже вторые сутки. Протоколов сделано более 20, процесс идет. 👉 Проблемы: есть небольшой дрифт логики работы - инструкции заставляют перечитывать промпты, но не все моменты цикла зафиксированы в промптах, что то, видимо, не учтено. то есть требуется более тщательное прописывание логики работы цикла - промпт /goal тут не совсем подходит. Схема защиты от хождения по кругу (с исправлением примерно одного и того же) требует доработки. Видимо, нужно придумать схему ""гипотез"". Я бы предпочел реализовать этот цикл на детерминированном dynamic workflow - чтобы четко прописать логику работы, но такого пока в стандартном кодексе нету - хоть изучай сторонние решения! Промптами такое прописывается не совсем надежно, дрифт после многих часов работы видимо возможен. Отладка таких процессов немного затруднена их длительностью. Пока не придумал удачной observability для такого флоу: данных же очень много, надо выделять что то существенное. 👉 Плюсы: оно условно само дорабатывает софт в заданном направлении. Просто требуется наработать опыти правильно это все организовать. Направление интересное - можно придумать разные циклы подобного рода. ❓ Вы забавляетесь чем то подобным? Интересная обратная связь и опыт @deksden_notes"