Maia 200: Ускоритель для инференса от Microsoft Вчера был интересный анонс от Microsoft, они сделали свой чип для инференса, Maia 200 (https://blogs.microsoft.com/blog/2026/01/26/maia-200-the-ai-accelerator-built-for-inference/). Пока задеплоили в US Central, на очереди US West 3 регион. Построен на 3нм процессе от TSMC, 140B транзисторов. Содержит нативные FP8/FP4 тензорные ядра, 216GB HBM3e памяти с пропускной способностью 7 TB/s и 272MB on-chip SRAM, а также специальные DMA engines для перемещения данных и “redesigned memory subsystem” для узких типов пониженной точности, но не понял относительно чего конкретно она redesigned. Чипы могут объединяться с другими по Ethernet, 2.8 TB/s bidirectional bandwidth, до 6144 чипов в кластере. >10 PFLOPS FP4, >5 PFLOPS FP8, 750W TDP. По сравнению с Amazon Trainium 3-го поколения, у Maia FP4 перформанс в три (почти в четыре) раза выше. Так понимаю, у AWS хоть и есть отдельный чип для инференса (Inferentia2), новые поколения Trainium по факту универсальные акселераторы в том числе и для инференса, и цифры у них выше. В сравнении же с Гугловым TPU gen7, выше перформанс на FP8. В целом, в эру test-time scaling это имеет смысл, для ризонинга FP4/FP8 вполне хватает, да и для обучения некоторым тоже уже хватает. Заявляют, что среди прочего будут использовать эти чипы для инференса GPT-5.2, а их Superintelligence team (не знал, что у MS тоже есть такая) будет их использовать для генерации синтетики и для RL. Maia SDK в превью (по реквесту) с поддержкой PyTorch, компилятором Triton, библиотекой оптимизированных ядер и доступом к их низкоуровневому языку программирования. Можно стать уникальным специалистом по ядрам для ещё одной архитектуры 😀 Больше подробностей про железо и архитектуру здесь: https://techcommunity.microsoft.com/blog/azureinfrastructureblog/deep-dive-into-the-maia-200-architecture/4489312 Документ от вчера, но уже версии 3.0 🙂 Короче, ещё одна компания отвязывается от монополии NVIDIA, все хотят оунить полный стек. Как видимо и сама Нвидия, идущая в обратную сторону.
Maia 200: Ускоритель для инференса от Microsoft Вчера был интересный анонс от…
Из этого канала
- #4654Добавил в новость про китайские модели упоминание DeepSeek-OCR-2. Новый энкодер…
Добавил в новость про китайские модели упоминание DeepSeek-OCR-2. Новый энкодер у них и правда интересный, не растр сканирует как все, а объекты, и…
- #4655Новый энкодер DeepSeek-OCR-2
Новый энкодер DeepSeek-OCR-2
- #4656Интересный кейс создания нетривиального софта от Нвидии: VibeTensor: System…
Интересный кейс создания нетривиального софта от Нвидии: VibeTensor: System Software for Deep Learning, Fully Generated by AI Agents Bing Xu, Terry Chen,…
- #4643Обучаться во время экзамена — зыко! Что отдельно интересно, это слияние…
Обучаться во время экзамена — зыко! Что отдельно интересно, это слияние обучения с инференсом.
- #4636"Очередная волна китайских моделей Последняя неделя января выдалась насыщенной…
"Очередная волна китайских моделей Последняя неделя января выдалась насыщенной — три серьёзных релиза, каждый со своей изюминкой.