Исследователи нашли способ тратить на 15% меньше вычислений на обучение LLM без потери качества На EMNLP 2026, – А*-конференции, проходящей сейчас в Венгрии, – рисерчеры из Т-Теха представили метод LIMe, который позволяет обучать языковые модели примерно на 15% дешевле по вычислениям без просадки в качестве. В трансформерах каждый слой опирается только на скрытое состояние предыдущего, и через него должен пройти весь контекст. Авторы показывают, что из-за этого возникает давление в сторону коллапса представлений. То есть токены становятся слишком похожими друг на друга, различия между ними теряются, а вместе с ними теряется и качество. LIMe (Layer-Integrated Memory) это легкое расширение механизма внимания. Оно использует key-value буферы, которые и так хранятся для каждого слоя, и добавляет к ним обучаемые веса маршрутизации, отдельные для каждой головы и каждого слоя. С их помощью голова внимания может забирать представления не только с предыдущего слоя, но и с более ранних, и смешивать их. Размер скрытого состояния при этом не растет, а уже выполненные вычисления используются повторно. В экспериментах на моделях примерно с миллиардом параметров LIMe достиг той же ошибки обучения, что и базовая LLaMA, при затратах на 15% ниже. На бенчмарках языкового моделирования и многошаговых рассуждений метод обошел другие подходы. Самый заметный выигрыш получили на синтетических арифметических задачах и в архитектурах с большим числом слоев. Еще авторы отмечают, что у LIMe выше энтропия value-векторов и лучше разделимость токенов, то есть главная проблема действительно смягчается. А по выученным весам маршрутизации видно, что модель системно переиспользует и локальные, и дальние признаки. Статья: https://arxiv.org/abs/2502.09245 Полная имплементация авторов: https://github.com/corl-team/lime