Voici Le Chonk, un modèle à 1 000 milliards de paramètres Mistral представила новую флагманскую модель Large 4. Но официально внутри компании ее называют Le Chonk. Это отсылка к мему Le Chaton Fat, фейковой гигантской модели Mistral, которую несколько месяцев назад придумали в соцсетях. Large 4 это крупненькая MoE на 1.05T параметров, 49B активных. Модель мультимодальная, поддерживает контекст до 1 млн токенов и уже доступна через API в режиме public preview. По собственным тестам Mistral, это новая открытая SOTA по США и Европе. Отдельно выделяют кодинг, кибербезопасность и финансы, а в задачах на детекцию объектов на изображениях модель обходит даже некоторые закрытые фронтиры. Обучали с нуля около двух месяцев на 4 000 Nvidia Grace Blackwell. Для модели такого размера это, кстати, довольно компактный кластер. Веса обещают выпустить 27 октября. https://mistral.ai/news/mistral-large-4/