Когда имеющаяся разметка для обучения языковых моделей подзакончилась, приходится изощряться. Вот авторы предложили использовать данные геометрии белков, надеясь, что модель и отсюда научится какому-то размышлению. Чему-то таки она научилась. Так что занимайтесь спортом, чтобы и музыка прокачалась. И наоборот :) Does Learning Protein Folding Generalize to Broader Reasoning? __Yong Liu, Zhanpeng Shi, Yizhou Dang, Zhongyue Zhang, Xiaoliang Shi, Zhijian Wei, Shuangjia Zheng__ Paper: https://arxiv.org/abs/2609.38879 Review: https://arxiviq.substack.com/p/does-learning-protein-folding-generalize Code: https://github.com/GENTEL-lab/Fold2Reason Model: N/A ЧТО сделали: Собрали FoldingCorpus — датасет вопросов и ответов по геометрии белков из 14 400 примеров с 12 детерминированными операторами. Предложили метод постобучения Fold2Reason, обновляющий языковую модель через кросс-энтропию на дискретных ответах и декодирование непрерывных координат через замороженную голову. На инференсе геометрические модули полностью убирают. ЧТО получили: Макроточность Qwen3.5-9B на десяти бенчмарках выросла с 45.09% до 48.33% (+3.23 процентных пункта), тогда как контроль со случайным перемешиванием просел до 44.82% (-0.27 п.п.). На бенчмарке биомолекулярных структур FoldBench метрика contact F1 выросла с 3.05% до 6.90%. ПОЧЕМУ это важно: Проверенные физические структуры могут улучшать небиологические рассуждения без синтетических текстов. Однако прирост в основном сосредоточен в специфических пространственных задачах и совершенно не переносится на Gemma-4-12B-IT. Прокачивать рассуждения тут: https://t.me/gonzo_ML_podcasts/4831
Когда имеющаяся разметка для обучения языковых моделей подзакончилась,…
Из этого канала
- #6134За программистами на COBOL'е в своеобразной энтерпрайз нише тоже пришли:…
За программистами на COBOL'е в своеобразной энтерпрайз нише тоже пришли: https://openai.com/index/low-resource-programming-languages/
- #6136Многие ли тут помнят старую добрую работу про Pointer Networks? Они позволяли…
Многие ли тут помнят старую добрую работу про Pointer Networks? Они позволяли RNN-кам копировать выбранные элементы входа на выход.
- #6139Если агента (обычный Claude Code, например) посадить в виртуальную среду, что…
Если агента (обычный Claude Code, например) посадить в виртуальную среду, что он там будет делать? Что-то делает, оказывается, есть какой-то bias на…
- #6124Эволюция харнессов сейчас примерно везде. Вот популярная свежая гугловая работа…
Эволюция харнессов сейчас примерно везде. Вот популярная свежая гугловая работа на эту тему.
- #6119Интересная работа про моделирование последовательностей через иерархию…
Интересная работа про моделирование последовательностей через иерархию концептов. Размеры исследуются только малые, но модель ведёт себя лучше авторегрессионок…