А что, так можно было? Variable-Width Transformers __Zhaofeng Wu, Oliver Sieberling, Shawn Tan, Rameswar Panda, Yury Polyanskiy, Yoon Kim__ Paper: https://arxiv.org/abs/2606.18246 Review: https://arxiviq.substack.com/p/variable-width-transformers-former Code: https://github.com/ZhaofengWu/variable-width-transformers Model: N/A # TL;DR ЧТО сделали: Встречайте `><former` (bowtie-former) — декодерный трансформер переменной ширины, который отказывается от классического дизайна с одинаковым размером скрытого представления на всех слоях. Сеть реализует профиль ёмкости в форме галстука-бабочки (или песочных часов): первые и последние слои остаются широкими, а средние сужаются. Меняющаяся размерность бесшовно контролируется с помощью беспараметрического механизма изменения размерности `residual stream` (carry-forward), который просто копирует неактивные координаты дальше по сети, избавляя от необходимости обучать проекционные слои. ПОЧЕМУ это важно: Эта работа ставит под сомнение фундаментальное архитектурное допущение о том, что размерность скрытого состояния трансформера должна быть неизменной на всех слоях. Физическое сужение средних слоёв работает как структурный регуляризатор, предотвращая коллапс представлений («компрессионные долины») и балансируя нагрузку на активации. Эмпирические результаты показывают, что `><former` снижает общие вычислительные затраты на предобучение до 22% (в FLOPs) и на 15% уменьшает объём KV-кэша и расходы на ввод-вывод при инференсе, стабильно превосходя классические трансформеры аналогичного объёма по качеству на downstream-задачах. Для практиков: Использование переменной ширины слоёв позволяет получить более эффективную модель при том же числе параметров. Механизм переноса неактивных каналов не требует обучения дополнительных весов. Однако для полноценного ускорения в реальном времени на современном железе (GPU/TPU) потребуются специализированные CUDA/Triton-кернелы, так как стандартные компиляторы оптимизированы под статические тензоры одинаковой формы. Бабочки здесь: https://t.me/gonzo_ML_podcasts/4136