Эволюция харнессов сейчас примерно везде. Вот популярная свежая гугловая работа на эту тему. Harness^2: Recursive Agent Harnessing for an Open World __Ruiyao Xu, Yanfei Chen, Zhongying CuiZhu, Bhavana Dalvi Mishra, Yifei Ming, Han Yu, Rujun Han, Chen-Yu Lee, Tomas Pfister__ Paper: https://arxiv.org/abs/2610.14224 Review: https://arxiviq.substack.com/p/harness2-recursive-agent-harnessing Code: https://github.com/google-research/harness2 ЧТО сделали: Авторы представили Harness^2 — фреймворк, который на лету оптимизирует рабочую обвязку замороженной языковой модели (промпты, защитные правила, навыки, скрипты и промежуточный код) без эталонных верификаторов. Он сочетает рекурсию на уровне задачи, где обвязка дорабатывается через сравнение поведения разных вариантов правок, и рекурсию на уровне самой настройки, где полезные уроки сохраняются в библиотеку улучшений для будущих задач. ЧТО получили: В четырёх конфигурациях моделей и обвязок с Claude Opus 4.8 в роли редактора один шаг контрастного улучшения (k=1) повышает средний балл на WorkBuddy-Bench с 64.2 до 75.7 для GLM-5 и с 72.4 до 77.5 для Gemini 3.5 Flash в среде OpenCode, обходя офлайновый Meta-Harness (69.7 и 76.4). Масштабирование параллельной рекурсии до k=5 даёт 80.8 на WorkBuddy-Bench и поднимает результат на JobBench с 31.5 (база) и 32.9 (Harness Scaling) до 39.0. ПОЧЕМУ это важно: Агенты могут адаптировать свои инструменты и накапливать переиспользуемый опыт редактирования прямо во время работы на неразмеченных задачах. За счёт этого адаптированная слабая модель способна обойти неадаптированную сильную, хотя проверка нескольких кандидатов кратно увеличивает расход токенов на инференсе, а основные эксперименты опираются на топовую модель-редактор. Варить свой харнесс тут: https://t.me/gonzo_ML_podcasts/4830
Эволюция харнессов сейчас примерно везде. Вот популярная свежая гугловая работа…
Из этого канала
- #6129Когда имеющаяся разметка для обучения языковых моделей подзакончилась,…
Когда имеющаяся разметка для обучения языковых моделей подзакончилась, приходится изощряться.
- #6134За программистами на COBOL'е в своеобразной энтерпрайз нише тоже пришли:…
За программистами на COBOL'е в своеобразной энтерпрайз нише тоже пришли: https://openai.com/index/low-resource-programming-languages/
- #6136Многие ли тут помнят старую добрую работу про Pointer Networks? Они позволяли…
Многие ли тут помнят старую добрую работу про Pointer Networks? Они позволяли RNN-кам копировать выбранные элементы входа на выход.
- #6119Интересная работа про моделирование последовательностей через иерархию…
Интересная работа про моделирование последовательностей через иерархию концептов. Размеры исследуются только малые, но модель ведёт себя лучше авторегрессионок…
- #6118Гениально, имхо.
Гениально, имхо.