"Спустя сутки тестирования, можно смело сказать что R1 это очередной прорыв. За последние 3 года в ИИ прорывы обычно идут волнообразно: новые способности моделей (SD, GPT-4), а затем существенная оптимизация (mini, 4o, SDXL). R1 по независимым бенчамаркам действительно показал очень близкие (где-то даже несущественно опережающие) результат по сравнению с сегодняшней SotA моделью o1. При этом, больше чем в 30 раз дешевле, полностью открытые веса, можно запускать локально, дистиллят для микроволновок (работает на любом M4+) и подробный очень классный пейпер с описанием процесса разработки модели. Главное отличие от стандартного метода — в использовании RL вместо условно ""ручного"" обучения через SFT. То есть, цепочки рассуждения и самопроверки генерируются моделью без использования примеров, заранее подготовленных человеком. Другими словами, модель научилась рассуждать и делать reasoning сама, без предварительного обучения реальными примерами. Так же как это сделал AlphaGo или AlphaZero. Интересный пример в пейпере, где модель пытается решить сложную задачу и пишет ""погодите, погодите, вот оно, я поняла!"". Эта рахитектура показывает что технически модели могут открывать знание и обучаться самостоятельно. В теории этому нет предела, и такой подход куда более масштабируем чем SFT. Я не удивлюсь, если о1-о3 модели были созданы примерно так же, но то ведь легендарно открытый OpenAI — поэтому, в отличии от китайцев, деталей мы не узнаем."
"Спустя сутки тестирования, можно смело сказать что R1 это очередной прорыв. За…
Из этого канала
- #2203CEO Anthropic: — никогда не был так уверен в прогрессе в ИИ, как в последние 6…
CEO Anthropic: — никогда не был так уверен в прогрессе в ИИ, как в последние 6 месяцев — в течении двух лет мы увидим ИИ системы, которые лучше почти всех…
- #2204OpenAI только что анонсировал проект «Звездные Врата» на $0,5 триллиона. Да,…
OpenAI только что анонсировал проект «Звездные Врата» на $0,5 триллиона. Да, $500В.
- #2205Это, безусловно, больше (в доле мирового ВВП) и важнее, чем полет человека в…
Это, безусловно, больше (в доле мирового ВВП) и важнее, чем полет человека в космос, программа Apollo и Манхэттенский Проект.
- #2200Ищем людей или команды, которые могут создавать простых ИИ-агентов для…
Ищем людей или команды, которые могут создавать простых ИИ-агентов для автоматизации бизнес процессов в отдельно взятой отрасли! Добрый день! Мы - сеть…
- #2199"Один вопрос: ""ШТА?!"" Дистиляция шокирует: 1.5B модель творит какую-то…
"Один вопрос: ""ШТА?!"" Дистиляция шокирует: 1.5B модель творит какую-то нереальную дичь. Пейпер, кстати, они написали очень зачетный.