Прогнал пока авторазбор Мамбы 3 Mamba-3: Improved Sequence Modeling Using State Space Principles Статья: https://openreview.net/forum?id=HwCvaJOiCj (Under Review at ICLR 2026) Ревью: https://arxiviq.substack.com/p/mamba-3-improved-sequence-modeling # TL;DR ЧТО сделали? Авторы представляют Mamba-3 — архитектурное развитие семейства моделей пространства состояний (SSM). Метод объединяет три ключевых технических улучшения: схему трапецеидальной дискретизации (вместо метода Эйлера), формулировку Multi-Input Multi-Output (MIMO) для повышения арифметической интенсивности вычислений и теоретическое обоснование, связывающее комплекснозначные SSM с Data-Dependent Rotary Embeddings (RoPE). ЗАЧЕМ это нужно? Работа закрывает две главные слабости эффективных линейных моделей: неспособность решать задачи на отслеживание состояния (state-tracking), такие как чётность или арифметика, и плохую утилизацию железа (memory-bound) во время декодинга. Возвращая выразительность комплексной динамики без вычислительных накладных расходов, Mamba-3 задаёт новый фронт Парето эффективности инференса, обгоняя Mamba-2 и сильные бейзлайны трансформеров на стандартных бенчмарках. Подробнее: https://t.me/gonzo_ML_podcasts/1389
Прогнал пока авторазбор Мамбы 3 Mamba-3: Improved Sequence Modeling Using State…
Из этого канала
- #4245Извинити, это всё просто прекрасно:
Извинити, это всё просто прекрасно:
- #4248На этом закончу :)
На этом закончу :)
- #4249Не выполняем пятилетку! https://x.com/DKokotajlo/status/1991564542103662729?s=20
Не выполняем пятилетку! https://x.com/DKokotajlo/status/1991564542103662729?s=20
- #4240Хорошие авторы! Neuroevolution: Harnessing Creativity in AI Agent Design An MIT…
Хорошие авторы! Neuroevolution: Harnessing Creativity in AI Agent Design An MIT Press Book by Sebastian Risi, Eugene Tang , David Ha, and Risto Miikkulainen…
- #4237It happened! https://blog.google/products/gemini/gemini-3/
It happened! https://blog.google/products/gemini/gemini-3/