Локальная gpt-oss-20b - эквивалент закрытой gpt-5-nano, а mini - 120b 🔥 Теперь все цифры сошлись. Я таки запустил gpt-oss-20b, как если бы reasoning у него изначально работал с поддержкой Structured Outputs. Сейчас gpt-oss-20b из-за новизны архитектуры работает без Structured Outputs даже у Fireworks (это мне подтвердили ребята в OpenRouter). Но, думаю, для таких хороших моделей завезут поддержку новой архитектуры достаточно быстро. В итоге - очки на моем бенчмарке получились у моделей похожие. Смотрите сами. Причем ситуация аналогична паре моделей gpt-5-mini и gpt-oss-120b. В принципе, это логично. Зачем OpenAI поддерживать большой зоопарк моделей, когда можно обучить три новые модели, выдать по API все три (спрятав reasoning) и раздать всем две младшие модели? Ну а смогут ли люди получить от локальных моделей результаты аналогичные их облачным вариантам - это уж зависит от самих людей. Можете проверить сами, скачав локальные модели с Hugging Face (20B и 120B) и запустив у себя, или через одного из провайдеров (списки - 20B и 120B). Для честного сравнения с gpt-5-nano и gpt-5-mini обязательно давайте локальным моделям возможность подумать над проблемой до ответа, как это делается в CoT. А когда в xgrammar/outlines появится поддержка constrained decoding для 120B/20B, то можно будет и Schema-Guided Reasoning использовать (как это делается в бенчмарке). Ваш, @llm_under_hood 🤗
Локальная gpt-oss-20b - эквивалент закрытой gpt-5-nano, а mini - 120b 🔥 Теперь…
Из этого канала
- #625"Новые материалы по SGR - Schema-Guided Reasoning Я собрал воедино и…
"Новые материалы по SGR - Schema-Guided Reasoning Я собрал воедино и структурировал материалы про SGR для LLM, выделил паттерны (их всего три) в отдельные…
- #626"Релиз линейки gpt-5 - это самый крутой подарок от OpenAI разработчикам.…
"Релиз линейки gpt-5 - это самый крутой подарок от OpenAI разработчикам. Включая тех, кто хочет запускать мощные модели на старых картах. Смотрите.
- #627У @VaKovaLskii из @neuraldeep есть RAG бот, который может отвечать на вопросы…
У @VaKovaLskii из @neuraldeep есть RAG бот, который может отвечать на вопросы по материалам канала и чата нашего комьюнити.
- #622Бенчмарк GPT-5 моделей - первое место, и интересное про OSS модели Базовая…
Бенчмарк GPT-5 моделей - первое место, и интересное про OSS модели Базовая GPT-5 модель от OpenAI сразу попала на первое место.
- #621"SGR Benchmark моделей - OpenAI OSS модели хороши Раньше я этот бенчмарк…
"SGR Benchmark моделей - OpenAI OSS модели хороши Раньше я этот бенчмарк называл LLM Reasoning бенчмарк.