"Тема с роутингом отдельных запросов на разные модели — хорошо проработанная область, мы сами в Intento делаем это уже под десяток лет. И блин я конечно удивлён оценке OpenRouter и их продаже Страйпу. Текущая работа про другое — роутинг отдельных токенов между разными моделями, например, по ""сложности"" токена (энтропии). Когда энтропия высокая — отдаём генерацию модели потяжелее. Когда всё просто — генерим маленькой моделью. Самое интересное в работе имхо это какой огромный оверхед на всякую сопутствующую машинерию, если это дело не оптимизировать. TokenRouter: Efficient Serving System for Token-Level LLM Routing __Tianyu Fu, Tengxuan Liu, Ruoxi Wang, Yixin Dong, Yi Ge, Yichen You, Yu Wang__ Paper: https://arxiv.org/abs/2610.12242 Code: https://github.com/thu-nics/TokenRouter Model: N/A Review: https://arxiviq.substack.com/p/tokenrouter-efficient-serving-system ЧТО сделали: Авторы представили TokenRouter — рантайм поверх SGLang для пошагового роутинга LLM, где генерация переключается между маленькой и большой моделями на отдельных токенах. Внутри — API из трёх функций, асинхронные подсерверы для каждой модели, сохранение состояния KV-кэша между вызовами и планировщик отложенного батчинга на марковских цепях. ЧТО получили: На 5 алгоритмах роутинга в задачах на рассуждение AIME2024 и агентных сценариях SWE-Smith при 4 параллельных запросах пропускная способность составляет от 76.6 до 290.3 токен/с против 4.5–63.1 токен/с у потокенового бейзлайна на SGLang и 0.7–78.3 токен/с у официальных реализаций (прирост в 2.01x–64.15x). На роутере R2R при 8 запросах скорость выросла со 134.9 до 372.5 токен/с (2.76x, из них 1.71x за счёт CUDA-графов). При 16 запросах система обгоняет R2R в 3.61x при той же параллельности (или в 18.58x относительно R2R с 1 запросом при ускорении в 1.13x на пользователя). ПОЧЕМУ это важно: Пошаговый роутинг можно развернуть за единым OpenAI-совместимым эндпоинтом и обойти роутеры уровня запросов вроде RouteLLM по соотношению скорости и точности. Однако каждый подсервер вынужден дублировать KV-кэш всей последовательности, а марковский солвер провалидирован только до 4 параллельных запросов. Роутить токены тут: https://t.me/gonzo_ML_podcasts/4839"