А вот другой заход на то, что внимание и все эти огромные матрицы не нужны! Здесь переходим к спайкам и отказываемся от линейной алгебры в пользу Lookup таблиц. Spiking Manifesto Eugene Izhikevich Статья: https://arxiv.org/abs/2512.11843 Код: https://github.com/izhikevich/SNN Ревью: https://arxiviq.substack.com/p/spiking-manifesto # TL;DR ЧТО сделали: Юджин Ижикевич (легенда вычислительной нейробиологии) предложил новый фреймворк для спайковых нейросетей (SNN), который отказывается от симуляции мембранных потенциалов в пользу работы с векторами задержек (latencies). Идея заключается в маппинге относительного времени спайков (перестановок) на синаптические веса через таблицы поиска (LUT). Это позволяет полностью выкинуть перемножение матриц (MatMul) из цикла инференса, эффективно «компилируя» архитектуры глубокого обучения — включая трансформеры и RNN — в набор разреженных, эффективных по памяти обращений к таблицам. ПОЧЕМУ это важно: Подход атакует главное бутылочное горлышко современного ИИ: вычислительную сложность `O(N^2)` и затраты памяти на плотные матричные операции. Используя комбинаторный взрыв вариантов порядка спайков (`n!` состояний) вместо линейной емкости векторных пространств, архитектура демонстрирует теоретическое снижение требований к пропускной способности памяти в 10 000 раз и значительно более быструю сходимость. Это открывает путь к запуску логики уровня LLM на железе с потреблением в милливатты. Подробнее: https://t.me/gonzo_ML_podcasts/1975