"⚪️ Путевые заметки: наблюдения за белками Есть у меня экспериментальный проект. Это бот, который управляет базой знаний. Работает он на агентном поиске, база знаний ведется как граф. У этого бота есть пайплайн, который знания извлекает. Это самая сложная часть всей гравицапы, потому что он должен переварить документы, и достать картинки/текст/сущности/даты/связи и много чего еще. И все это в граф организовать. Агентный поиск по готовому - сильно проще. ▶️ Так вот: какие белки? Которые как заведенные, бегают в колесе. Я, конечно, про Loop Engineering. 👉 Пайплайн импорта у меня крутится в задачах улучшения - как белка в колесе. Что за цикл? Мы запускаем пайплайн под наблюдением агента по инструкции. Далее смотрим чего получилось и проводим агентное ревью, там аспекты выделены и все такое. Результаты рассматриваем, находим косяки, где метрики не дотягиваются до целевых, и готовим исправления/доработки пайплайна. Ситемно и все такое. Потом эти доработки проходят полный SDLC цикл - plan -> code -> merge. Совокупно в полностью автономном режиме у меня наверное неделю пробегал. Последний забег длится уже 1.5 суток и пока даже не особо хочет кончаться. Циклов штук 70 прошло! Это все для контекста ▶️ Суть: хотел поделиться наблюдением. При анализе как оно там, выясняется следующее. Да, пайплайн улучшается. Когда останавливается цикл и я разбираю чего там понакручено, то есть определенный прогресс. Но я не особо доволен тем как все идет. Не хватает системности решения проблемы. Задачи решаются вроде бы путем системного перепланирования, сверху вниз, но видно же, что это разовые доработки, которым недостает концептуальности! Вроде, все как завещали вендоры: задача обозначена, критерии измеримые, работай - поле свободно! При этом есть во флоу куча всяких улучшений, которые должны дорабатывать или чего то прорабатывать. Но все не выглядит идеальным. Это я еще ревью отключил, чтобы циклы крутились чуть побыстрее. Логика: пока меняем код, смысла каждое изменение вылизывать не вижу. В конце будем шерстить кодовую базу и причесывать - сейчас вопрос в основной логике. ▶️ Потом я вспомнил эксперименты с написанием компилятора. Подумал что очень похоже - там рой набрасывался на задачи и все было так же невнятно. Вроде цели вполне конкретные, но путаница, суета и невыстроенность в четкую систему! Опа! А ведь это похоже ▶️ Да, у меня процесс не хаотичный, он по рельсам флоу ездиет по кругу. Но для самой сути проектирования - по сути это тот же хаос! Агент действует так, как ему в его латентном пространстве всбредет в голову. ‼️ В чем вижу проблему: на мой взгляд, логика моей задачи превышает возможности модели. Она не в состянии понять полностью и осознать весь пайплайн одновременно. Поэтому она ""мечется"" по разным частям, добавляя заплатки тут и там. Очень похоже на попытку осветить фонариком большой цех: ресурса не хватает, свет теряется в большом пространстве! 👉 Что делать? Как обычно. Резать задачу, искать габарит который понятен модели. Резать пайплайн на кусочки, на этапы, и отлаживать отдельный блок. Такой, чтобы модель его полностью понимала! Хотя бы на верхнем уровне, но с достаточными деталями, чтобы отладить его работу. То есть мы возьмем маленький участок и уже там ""сделаем светло"". И так - этап за этапом. Можно параллельно! ▶️ Вывод: AGI пока не настал. Все инженерные вопросы решаем как раньше, недостаток мозгов модели решаем правильным флоу - в данном случае декомпозиция задачи рулит. @deksden_notes"