"ReplaceMe: в ИТМО придумали, как радикально ускорять LLM без дообучения На конференции Data Fusion уже 5 лет вручают премию Data Fusion Awards. Награждают компании, лаборатории и отдельные статьи. С каждым годом популярность премии растет: в 2026 на трек ""Научный прорыв года в ИИ"" поступило уже более 140 заявок. Призовой фонд составил 3 миллиона рублей. Поздравляем победителей этого года и советуем к прочтению их работы: 1. Татьяна Земскова с серией работ о 3DGraphLLM – про то, как ребра графов могут помочь роботам лучше понимать окружающий мир 2. Александр Колесов с серией работ Field Matching – о разработке генеративной модели на основе идеи электростатического согласования полей 3. Дмитрий Шопхоев с работой ReplaceMe – про сжатие LLM Последняя работа приглянулась нам особенно. Студенты ИТМО с научными руководителями обнаружили крайне интересную вещь: в трансформерах целые группы слоев можно схлопывать до линейных операций, существенно ускоряя модели без больших потерь в качестве. Почти любая попытка прунинга обычно упирается в необходимость дообучения, но здесь ученые продемонстрировали совершенно другой подход. Они берут последовательность трансформер-блоков, которые ""по идее"" выполняют сложные нелинейные преобразования, и заменяют их одной линейной операцией, подобранной так, чтобы она максимально точно воспроизводила их поведение. Для этого не нужно обучать модель заново – достаточно прогнать небольшой калибровочный датасет через оригинальную сеть и посчитать линейное отображение между входами и выходами этих блоков. Авторы показывают, что можно удалить примерно до четверти слоев и сохранить около 90% исходной производительности. Это очень сильный результат, если учитывать, что речь идёт о полностью training-free подходе. На фоне других методов сжатия ReplaceMe выглядит особенно сильно: при сопоставимом уровне прунинга он держит качество лучше большинства подходов и при этом избавляет от дорогостоящего дообучения. Действительно значимая работа. Еще раз поздравляем авторов с заслуженной победой и желаем дальнейших сильных результатов и научных прорывов!"