А у какой локальной модели из топовых на моем бенчмарке есть удобный платный хостинг, который поддерживает нормальный constrained decoding (для CoT+SO)? В идеале сразу с openai-compatible API. Чтобы можно было быстро удаленно потестировать гипотезу до разворачивания vLLM с guidance на каком-нибудь GPU. Update: спасибо, нашел. Fireworks AI напрямую (или через OpenRouter) поддерживает Structured Outputs! Ваш, @llm_under_hood 🤗
А у какой локальной модели из топовых на моем бенчмарке есть удобный платный…
Из этого канала
- #492Визуализация Reasoning цепочек - Эпизод IV Пора заканчивать reasoning историю.…
Визуализация Reasoning цепочек - Эпизод IV Пора заканчивать reasoning историю. В этот раз будет про локальные модели и с картинками в комментариях.
- #493Используйте reasoning модели, чтобы улучшать архитектуры своих проектов с LLM…
Используйте reasoning модели, чтобы улучшать архитектуры своих проектов с LLM под капотом.
- #494Что мы хотели знать про DeepSeek r1, но стеснялись спросить? (1) Правда ли, что…
Что мы хотели знать про DeepSeek r1, но стеснялись спросить? (1) Правда ли, что DeepSeek r1 лучше o1? Вот никаким боком.
- #490Reasoning кирпичик для Stargate В предыдущих постах я оставил закладки,…
Reasoning кирпичик для Stargate В предыдущих постах я оставил закладки, которые, приводят нас к сегодняшнему посту. Итак, следите за руками. Начнем мы с конца.
- #489"Какой из промптов будет давать более точный ответ? Промпты почти одинаковые,…
"Какой из промптов будет давать более точный ответ? Промпты почти одинаковые, меняется только порядок.