"Применяем Autoresearch за пределами ML В марте я разбирал autoresearch Карпатого и обещал адаптировать под ""приземлённые задачи"" —> на днях устроили с ai нейтивами билд сессию, делюсь результатами. Напомню: autoresearch - это цикл, где дружбан крутит-вертит один файл, решающий заданную задачу, оценивает результат: если удачно - сохраняет и идет на следующую итерацию улучшение; если нет - откатывается к предыдущему. Для machine learning задач работает очень хорошо. Главный вывод сразу: Карпатовский loop - это шаг 5 из 5. 80% работы - ДО его запуска, а не внутри. На каких задачах крутили: 1) Скилл для дежурного сотрудника (Илья) - one-shotнул хороший скилл сразу, не особо и луп пришлось делать 2) квалификация входящих лидов (Дмитрий) - докрутил промпты для оценки лидов, улучшил точность 3) ML задачка на kaggle (Гаяр) - 60е место из 1400, авторесерч; вообще такой подход превращает ML в коммодити, конечно 4) negotiation challenge с хакатона paradigm (я) - за 25 экспериментов +14% к базовому результату, дальше можно и нужно крутить В целом, можно и нужно применять, НО не для каждой задачи. Поэтому по мотивам запилил скилл - он делает 3 ключевые вещи: 1) Triage - подходит ли вообще эта задача для autoresearch? 2) Fitness/оптимизационная функция - помогает математически сформулировать, что такое хорошо и что такое плохо —> чтобы цикл улучшения понимал, когда эксперимент помог, а когда - нет 3) Стратегия экспериментирования - несколько дополнительных режимов для придумывания экспериментов: explore vs exploit, идеи от человека, barbell стратегия Талеба и тп Интересный вывод сделал Илья в конце сессии: ""мы подтвердили твою гипотезу - когда у всех будет autoresearch, узким местом станут идеи"" Я бы еще добавил: и сформулировать fitness функцию Как бы отсылаю к недавнему посту 😉"