"Вышел огромный обзор ""Speed Always Wins: A Survey on Efficient Architectures for Large Language Models"": https://t.me/gonzo_ML_podcasts/699 В каком-то смысле это продолжение старой доброй “Efficient Transformers: A Survey” 2020 года (https://arxiv.org/abs/2009.06732)."