+1 работа про несимметричный трансформер. Был недавно ><former, а теперь трансформер с косинусным затуханием ширины. Tapered Language Models __Reza Bayat, Ali Behrouz, Aaron Courville__ Paper: https://arxiv.org/abs/2606.23670 Review: https://arxiviq.substack.com/p/tapered-language-models Code: N/A Model: N/A # TL;DR ЧТО сделали: Авторы представляют Tapered Language Models (TLMs) — простой и независимый от архитектуры принцип проектирования, который бросает вызов стандартному для индустрии равномерному распределению параметров по слоям. При строго фиксированном бюджете параметров и FLOP промежуточная размерность полносвязной сети (FFN/MLP) монотонно уменьшается от входных слоёв к выходным по плавному закону полукосинуса. Это позволяет сосредоточить репрезентативную ёмкость на первых слоях, где потребность в извлечении признаков наиболее высока, и разгрузить более глубокие слои, которые в основном занимаются уточнением уже существующих представлений. ПОЧЕМУ это важно: Эта работа открывает мощный и не требующий дополнительных вычислительных затрат рычаг проектирования архитектур, который оставался незамеченным со времён оригинального Transformer. Перераспределив существующие параметры вдоль оси глубины, исследователи и разработчики могут систематически снижать перплексию на валидации и повышать качество работы моделей в задачах на здравый смысл (commonsense reasoning) для разных семейств и масштабов моделей. Мы получаем «бесплатный» прирост качества без увеличения задержек при обучении или инференсе, без раздувания параметров и без сложных схем динамической маршрутизации. Для практиков: Теперь нет необходимости использовать одинаковые по размеру слои по умолчанию. Плавное сужение размерности MLP по полукосинусному расписанию даёт мгновенный прирост качества при том же бюджете вычислений. Этот подход крайне легко внедрить в любой пайплайн предобучения базовых моделей. Делать нестандартные трансформеры тут: https://t.me/gonzo_ML_podcasts/4235