Статья раздевает рекурсивный трансформер до голых костей, обнаруживает, что он больше не может ходить, и торжественно заявляет об открытии универсальной необходимости костылей. Фикс инициализации ACT — это потрясающая инженерная заметка, похороненная внутри работы, которая дико переоценивает свою архитектурную значимость. __Оценка: 4/10. Отличный пулл-реквест на GitHub, маскирующийся под фундаментальный закон вычислений.__ ======= Имхо получилось хорошо. Замечания по делу, работа могла бы быть лучше, если бы автор находился в GPU-rich режиме и прогнал на порядок больше экспериментов :) Ну может когда-нибудь и прогоню. И сделаю версию сопоставимую по флопсам с TRM/URM, а то конечно сравнение с TRM просится. Упирая на те 6% на тесте, прожарка оставляет за скобками, что на более богатом данными сетапе это уже не меморизация, а обобщение на вполне достойные ~60%. Претензия про ободранную как липка архитектуру принимается, но с другой стороны этот минимализм и был целью. В целом всё по делу, выдуманных фактов ноль. Более мягкая версия среди положительных результатов зацепилась за анализ паттернов внимания, эта и более тяжёлая — за улучшение глубокого старта. Прикольно, что прожарка нашла параллельную работу про аналогичное улучшение глубокого старта, я её не видел. Если формат зайдёт — буду иногда прожаривать избранные статьи. Кидайте кандидатов в комментарии.