Ещё вам всякой прекрасной геометрии в ленту. На этот раз для быстрой генерации в дискретных модальностях. Categorical Flow Maps __Daan Roos, Oscar Davis, Floor Eijkelboom, Michael Bronstein, Max Welling, İsmail İlkan Ceylan, Luca Ambrogioni, Jan-Willem van de Meent__ Статья: https://arxiv.org/abs/2602.12233 Ревью: https://arxiviq.substack.com/p/categorical-flow-maps # TL;DR ЧТО сделали: Авторы представили Categorical Flow Maps (CFM) — метод обучения непрерывных во времени генеративных потоковых моделей на вероятностном симплексе. Подход позволяет генерировать дискретные данные (текст, молекулярные графы) через уравнения потока. Предложена новая параметризация через конечную точку (endpoint-based parametrisation), строго соблюдающая геометрию симплекса, и соответствующий метод самодистилляции Endpoint-Consistent Lagrangian Distillation (ECLD). Фреймворк позволяет генерировать качественные сэмплы всего за один-два шага. ПОЧЕМУ это важно: Пока непрерывные диффузионные модели для картинок успешно ускорили до 1-2 шагов (спасибо consistency distillation), дискретные модальности отставали, полагаясь на тяжёлые авторегрессионные циклы или многошаговые цепочки дискретной диффузии. CFM переносит матан согласования потоков (flow matching) и самодистилляции на дискретные рельсы. Результат — SOTA при одношаговой генерации молекул (QM9, ZINC) и конкурентная перплексия на текстах (Text8, LM1B). Подробнее: https://t.me/gonzo_ML_podcasts/2469
Ещё вам всякой прекрасной геометрии в ленту. На этот раз для быстрой генерации…
Из этого канала
- #4800Статей про работу с текстом на уровне концептов прибыло. BLT, LCM, Thought…
Статей про работу с текстом на уровне концептов прибыло. BLT, LCM, Thought Gestalt, LLM-JEPA, ...
- #4804Всех с Масленицей!
Всех с Масленицей!
- #4805И китайской Масленицы вам тоже в ленту
И китайской Масленицы вам тоже в ленту
- #4793Вчера приехал Claude Sonnet 4.6…
Вчера приехал Claude Sonnet 4.6 (https://www.anthropic.com/news/claude-sonnet-4-6), сегодня выехала Gemini 3.1 Pro…
- #4789Ещё вам работ про геометрию! Диффузионки на эмбеддингах DINO работают не очень,…
Ещё вам работ про геометрию! Диффузионки на эмбеддингах DINO работают не очень, в недавней работе про RAE предлагали для этого расширять DiT.