"Релиз линейки gpt-5 - это самый крутой подарок от OpenAI разработчикам. Включая тех, кто хочет запускать мощные модели на старых картах. Смотрите. (1) gpt-oss-120B занимает 5 место в бизнес бенчмарке при использовании SGR. И заодно 4-е место в виде gpt-5-mini (ибо модели идентичны). (2) это модель с открытыми весами. Бери и используй. Качаем тут. (3) 120B запускается неплохо (10-30 tokens per second) на старых картах (5-8GB VRAM для attention в bf16) и простой оперативке (советуют 64GB)! Это все благодаря Mixture of experts архитектуре, которая использует только часть весов. Про запуск 120B - можно почитать на Reddit. Если кратко у llama есть переключатель —cpu-moe, который позволяет использовать всякие 3060Ti или 3090 для запуска модели. ""Yeah, I'm now also hitting > 30T/s on my 3090"" Пишите сюда, если получится запустить модель из верха бенчмарка на карте, от которой такого не ожидали. Порадуемся вместе) Ваш, @llm_under_hood 🤗 PS: в ollama еще не завезли. Следить тут."
"Релиз линейки gpt-5 - это самый крутой подарок от OpenAI разработчикам.…
Из этого канала
- #627У @VaKovaLskii из @neuraldeep есть RAG бот, который может отвечать на вопросы…
У @VaKovaLskii из @neuraldeep есть RAG бот, который может отвечать на вопросы по материалам канала и чата нашего комьюнити.
- #628Я доделываю небольшую демку, которая показывает, как сделать планируюшего…
Я доделываю небольшую демку, которая показывает, как сделать планируюшего бизнес-ассистента с доступом к инструментам, на базе Schema-Guided Reasoning и…
- #631"Проблемы с GPT-5 моделями у OpenAI Итак, исходные веса gpt-oss OpenAI моделей…
"Проблемы с GPT-5 моделями у OpenAI Итак, исходные веса gpt-oss OpenAI моделей - это, на мой взгляд, самое крутое, что давали в свободное пользование со времен…
- #625"Новые материалы по SGR - Schema-Guided Reasoning Я собрал воедино и…
"Новые материалы по SGR - Schema-Guided Reasoning Я собрал воедино и структурировал материалы про SGR для LLM, выделил паттерны (их всего три) в отдельные…
- #623Локальная gpt-oss-20b - эквивалент закрытой gpt-5-nano, а mini - 120b 🔥 Теперь…
Локальная gpt-oss-20b - эквивалент закрытой gpt-5-nano, а mini - 120b 🔥 Теперь все цифры сошлись.