Хардкор про сэмплирование в диффузионках. Вторая работа с ICML 2026 Outstanding Paper Award. High-Accuracy Sampling for Diffusion Models and Log-Concave Distributions __Fan Chen, Sinho Chewi, Constantinos Daskalakis, Alexander Rakhlin__ Paper: https://arxiv.org/abs/2602.01338 ICML Submission: https://openreview.net/forum?id=GW3umRqsZZ Review: https://arxiviq.substack.com/p/icml-2026-high-accuracy-sampling Code: N/A Model: N/A ICML 2026 Outstanding Paper Award. # TL;DR ЧТО сделали: Авторы разработали First-Order Rejection Sampling (FORS) — метод высокоточного семплирования без дополнительного обучения (training-free). Он позволяет получать выборки с гарантированной точностью (ошибка `δ` за `polylog(1/δ)` шагов) для генеративных диффузионных моделей и логарифмически вогнутых (log-concave) распределений, используя только оценки градиента первого порядка (скор-функцию). ПОЧЕМУ это важно: Традиционные дискретные SDE-семплеры ограничены полиномиальной погрешностью дискретизации, масштабирующейся как `poly(1/δ)`. Сформулировав задачу принятия-отклонения (accept-reject) как задачу «бернуллиевской фабрики» (Bernoulli factory) и решив её через криволинейные интегралы, авторы создали первый высокоточный скор-ориентированный метод семплирования, который полностью избегает вычислительно тяжёлых и зачастую невычислимых оценок плотности. Это доказывает, что высокоточное семплирование реализуемо при стандартных `L_2`-оценках скор-функции. Для практиков: С теоретической точки зрения эта работа — важнейшая веха, заслужившая награду Outstanding Paper Award на конференции ICML. Исследователи доказали, что можно обойти барьер дискретизации SDE и генерировать высокоточные выборки экспоненциально быстрее, чем считалось ранее, при этом вообще не меняя архитектуру сети и не обращаясь к плотностям распределения. Сэмплировать тут: https://t.me/gonzo_ML_podcasts/4366
Хардкор про сэмплирование в диффузионках. Вторая работа с ICML 2026 Outstanding…
Из этого канала
- #5700Сюрприз-сюрприз! Инструменты алайнмента по совместительству являются идеальными…
Сюрприз-сюрприз! Инструменты алайнмента по совместительству являются идеальными инструментами цензурирования. Outstanding Position Paper Award с ICML 2026.
- #5706Как обучать самый честный AI на свете. ICML 2026 Outstanding Paper Honorable…
Как обучать самый честный AI на свете. ICML 2026 Outstanding Paper Honorable Mention The Obfuscation Atlas: Mapping Where Honesty Emerges in RLVR with…
- #5711Умный отбор видео для обучения моделей физике движения. Если таким образом…
Умный отбор видео для обучения моделей физике движения. Если таким образом можно отфильтровать датасет так, что 10% отфильтрованного обучают модель лучше, чем…
- #5691Пошли статьи с ICML 2026. Интересное про языковые диффузионки. Если в обучении…
Пошли статьи с ICML 2026. Интересное про языковые диффузионки. Если в обучении их ограничить последовательной генерацией, то итоговый результат лучше, чем если…
- #5686Перед тем, как постить призёров ICML 2026, новая адаптивная джепа! AdaJEPA: An…
Перед тем, как постить призёров ICML 2026, новая адаптивная джепа! AdaJEPA: An Adaptive Latent World Model Ying Wang, Oumayma Bounou, Yann LeCun, Mengye Ren…