Не могу не поделиться

В опенсорсе модель с 1T параметров! Для тех, у кого лишние DGX простаивают, видимо :) https://github.com/MoonshotAI/Kimi-K2 Обучена оптимизатором muon…

Вот это я понимаю, масштаб! (3195 additional authors not shown) https://arxiv.org/abs/2507.06261

Ещё интересная архитектурная инновация — H-Net, делающий следующий шаг к обучаемой токенизации, теперь вроде как совсем end-to-end (в отличие от BLT).

А также на посмотреть. 2001: A Space Odyssey

В шаббат разбирать статьи не будем, но вот вам на почитать, если ещё не видели. Шмидхубух про историю современного AI.