Очередной способ параллелизации размышлений. Мультитрединг приходит в LLM :) ThreadWeaver: Adaptive Threading for Efficient Parallel Reasoning in Language Models __Long Lian, Sida Wang, Felix Juefei-Xu, Tsu-Jui Fu, Xiuyu Li, Adam Yala, Trevor Darrell, Alane Suhr, Yuandong Tian, Xi Victoria Lin__ Статья: https://arxiv.org/abs/2512.07843 Ревью: https://arxiviq.substack.com/p/threadweaver-adaptive-threading-for # TL;DR ЧТО сделали: Авторы представили ThreadWeaver — фреймворк, позволяющий LLM динамически разбивать последовательную цепочку рассуждений (CoT) на параллельные потоки. Обучив модель выдавать специальные управляющие токены (`<Parallel>`, `<Thread>`) и используя trie-based механизм внимания, система реализует паттерн выполнения «fork-join». Для оптимизации используется модифицированный алгоритм P-GRPO, который балансирует между правильностью ответа и сокращением длины критического пути. ПОЧЕМУ это важно: Время инференса в сложных задачах на рассуждение (reasoning tasks) обычно растёт линейно с длиной цепочки (`O(N)`), создавая узкое место для масштабирования System 2. ThreadWeaver показывает, что можно сохранить SOTA-качество (на уровне последовательного Qwen3-8B) и при этом получить значительное ускорение по времени (до 1.53x). Что важно, это работает на стандартных движках (например, vLLM) без необходимости писать кастомные CUDA-ядра или хитро управлять KV-кэшем. Подробнее: https://t.me/gonzo_ML_podcasts/1708
Очередной способ параллелизации размышлений. Мультитрединг приходит в LLM :)…
Из этого канала
- #4398"Продолжаем кросс-опыление. JIT-компиляция для агентской памяти. General…
"Продолжаем кросс-опыление. JIT-компиляция для агентской памяти. General Agentic Memory Via Deep Research B.Y.
- #4401Странная какая-то статья, как будто пытались по-быстрому выложить. Больше набор…
Странная какая-то статья, как будто пытались по-быстрому выложить. Больше набор буллет пойнтов, чем статья, да и практическая часть с эвалами практически же…
- #4404А вот это прикольно! https://ai.meta.com/samaudio/
А вот это прикольно! https://ai.meta.com/samaudio/
- #4374Отдельного внимания здесь заслуживает симбиогенез, который выводит эволюцию за…
Отдельного внимания здесь заслуживает симбиогенез, который выводит эволюцию за пределы борьбы в общей нише и принципа “выживает наиболее приспособленный” в…
- #4373В обоих случаях, если репликатор подсадить в суп, он быстро распространяется.…
В обоих случаях, если репликатор подсадить в суп, он быстро распространяется. Но при рандомной инициализации суп остаётся равномерно рандомным и после…