Тема про термодинамические вычисления развивается (мы писали про неё тут, тут и тут). Extropic анонсировал новую Z1 в дополнение к X0/XTR-0. А их конкуренты из Normal Computing предложили свежий CN101 и имплементацию термодинамических алгоритмов на обычном КМОП железе. Про что и статья. Идея про последовательный параллелизм особенно прикольна. Сеть при обучении может не дожидаться пока посчитаются предыдущие слои, она может релаксировать сразу целиком. CN101 - A Digital Thermodynamic Computer for Generative AI __Lars Holdijk, Denis Melanson, Zier Mensch, Brandon Birchall, Vincent Cheung, Nicholas Lehrter, Maxwell Aifer, Samuel Duffield, Jan Ole Ernst, Rajath Salegame, Antonio J. Martinez, Gavin Crooks, Miranda Cheng, Zach Belateche, Marc Bright, Patrick J. Coles, Faris Sbahi__ Paper: https://arxiv.org/abs/2608.00754v1 Review: https://arxiviq.substack.com/p/cn101-a-digital-thermodynamic-computer Code: N/A Model: N/A # TL;DR ЧТО сделали: Авторы формализовали подходы к термодинамическим вычислениям через релаксацию, сделав их независимыми от конкретной физической среды (субстрата), и запустили первый кремниевый прототип — чип CN101, изготовленный по стандартному техпроцессу CMOS с использованием принципов стохастических вычислений. ПОЧЕМУ это важно: Отвязав термодинамические алгоритмы от капризных аналоговых систем, авторы доказали, что физические примитивы релаксации можно полностью реализовать в цифровой логике. Главная фишка чипа — «последовательный параллелизм» (sequential parallelism): глубокие многостадийные генеративные модели (вроде диффузионных сетей и flow-matching) релаксируют параллельно по всей глубине, а не последовательно слой за слоем. Это даёт ускорение генерации вплоть до 62×. Для практиков: Классические GPU требуют огромных батчей для эффективной утилизации чипа, что напрямую противоречит глубокой и последовательной природе современных генеративных моделей. CN101 доказывает, что термодинамическая релаксация — где ответы формируются как усреднённая по времени статистика равновесия стохастической динамической системы — может нативно исполняться на обычных цифровых кристаллах. Вместо того чтобы ждать, пока каждый слой нейросети последовательно посчитает точные float-значения, CN101 заставляет все слои релаксировать одновременно. Нижние слои получают сходящийся стохастический поток от верхних слоев в реальном времени, за счёт чего вся сеть приходит к сходимости кардинально быстрее традиционного последовательного инференса. Термодинамить тут: https://t.me/gonzo_ML_podcasts/4789
Тема про термодинамические вычисления развивается (мы писали про неё тут, тут и…
Из этого канала
- #5926По заявкам читателей. FLEX-$\pi$: A Multi-Stream World-Action Model with…
По заявкам читателей. FLEX-$\pi$: A Multi-Stream World-Action Model with Compute Flexibility Ge Yan, Jinghao Liu, Yuzhi Fan, Lei Cai, Minwen Liao, Jesse Zhang,…
- #5931Прикольная работа про экономию памяти для работы с длинными…
Прикольная работа про экономию памяти для работы с длинными последовательностями. Использует то же наблюдение, что и недавняя работа про новый BERT — семантика…
- #5917Любопытный результат про работу LLM с табличными данными, где LLM довольно…
Любопытный результат про работу LLM с табличными данными, где LLM довольно хреновы и сильно уступают классике ML.
- #5916Вот это вот особенно прекрасно: Even Claude was surprised by its own finding—it…
Вот это вот особенно прекрасно: Even Claude was surprised by its own finding—it was skeptical at first, possibly because it has learned from its training about…
- #5915К гипотезе Римана подступаются...…
К гипотезе Римана подступаются... https://www.anthropic.com/research/riemann-zeta