DeepSeek ускоряет спекулятивное декодирование за счёт параллельного драфтера (как у DFlash) с элементами быстрой авторегрессионности. DSpark: Confidence-Scheduled Speculative Decoding with Semi-Autoregressive Generation __Xin Cheng, Xingkai Yu, Chenze Shao, Jiashi Li, Yunfan Xiong, Yi Qian, Jiaqi Zhu, Shirong Ma, Xiaokang Zhang, Jiasheng Ye, Qinyu Chen, Chengqi Deng, Jiping Yu, Damai Dai, Zhengyan Zhang, Yixuan Wei, Yixuan Tan, Wenkai Yang, Runxin Xu, Yu Wu, Zhean Xu, Xuanyu Wang, Muyang Chen, Rui Tian, Xiao Bi, Zhewen Hao, Shaoyuan Chen, Huanqi Cao, Wentao Zhang, Anyi Xu, Huishuai Zhang, Dongyan Zhao, Wenfeng Liang__ Paper: https://github.com/deepseek-ai/DeepSpec/blob/main/DSpark_paper.pdf Code: https://github.com/deepseek-ai/DeepSpec Model: https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro-DSpark Review: https://arxiviq.substack.com/p/dspark-confidence-scheduled-speculative # TL;DR ЧТО сделали: Разработали DSpark — продвинутый фреймворк спекулятивного декодирования от команды DeepSeek-AI. Он совмещает полуавторегрессионную архитектуру генерации черновиков (drafting) и адаптивный к нагрузке, откалиброванный шедулер префиксов на основе уверенности модели. Всё это создано для ускорения инференса LLM в условиях высокой конкурентности запросов. ПОЧЕМУ это важно: Объединив тяжёлую параллельную модель-черновик с легковесной низкоранговой последовательной «головой», авторы решили проблему быстрого падения точности в хвосте последовательности (suffix decay), характерную для параллельных драфт-моделей, практически без накладных расходов на задержку (latency). Динамическая регулировка длины верификации на основе текущей нагрузки сервера и вероятности выживания префикса сдвинула Pareto-фронтир инференса для DeepSeek-V4. Это увеличило скорость генерации для пользователей на 60–85% при той же пропускной способности и предотвратило деградацию производительности под жёсткими SLA. Для практиков: Если вы масштабируете инференс под высокую нагрузку, этот метод показывает, как выжать максимум из видеокарт. Код и веса моделей уже выложены в открытый доступ, так что архитектуру можно внедрять в свои инференс-пайплайны. Ускорять инференс тут: https://t.me/gonzo_ML_podcasts/4293