The Principles of Diffusion Models: From Origins to Advances__ Chieh-Hsin Lai, Yang Song, Dongjun Kim, Yuki Mitsufuji, Stefano Ermon__ Статья: https://arxiv.org/abs/2510.21890 Ревью: https://arxiviq.substack.com/p/the-principles-of-diffusion-models Эта 470-страничная монография представляет единую теоретическую основу для диффузионных моделей. Она показывает, что три исторически разных подхода — вариационный (например, DDPM), основанный на score-функции (например, Score SDE) и потоковый (например, Flow Matching) — математически эквивалентны. Все они сводятся к одному ключевому принципу: выучиванию зависящего от времени векторного поля для обращения фиксированного прямого процесса зашумления. Авторы показывают, что весь этот генеративный процесс управляется одним дифференциальным уравнением (Probability Flow ODE), а его согласованность гарантируется уравнением Фоккера-Планка. В работе также доказывается, что различные цели для предсказания, используемые при обучении (шум, чистые данные, score-функция или скорость), алгебраически взаимозаменяемы. Это проясняет, что их различия — вопрос реализации и стабильности, а не фундаментальных возможностей моделирования. Подробнее: https://t.me/gonzo_ML_podcasts/1181
The Principles of Diffusion Models: From Origins to Advances Chieh-Hsin Lai,…
Из этого канала
- #4182Kimi Linear: An Expressive, Efficient Attention Architecture…
Kimi Linear: An Expressive, Efficient Attention Architecture https://arxiv.org/abs/2510.26692 Новинка в линейке Kimi, SSM-Трансформер гибрид с линейным…
- #4186Продолжаем серию обзорных работ по большой области. После обзора диффузионок…
Продолжаем серию обзорных работ по большой области. После обзора диффузионок приехал обзор по KAN. Этот поскромнее, всего 63 страницы.
- #4188Обзор трансформеров с памятью. Memory-Augmented Transformers: A Systematic…
Обзор трансформеров с памятью. Memory-Augmented Transformers: A Systematic Review from Neuroscience Principles to Enhanced Model Architectures Authors: Parsa…
- #4179Когда ты думал, что оно грокнуло, а оно, зараза, переобучилось 😹
Когда ты думал, что оно грокнуло, а оно, зараза, переобучилось 😹
- #4177"Графовый LSTM подвезли, gLSTM. Что сделано? В статье пересматривается проблема…
"Графовый LSTM подвезли, gLSTM. Что сделано? В статье пересматривается проблема ""over-squashing"" в графовых нейронных сетях (GNN), разделяя её на два…