Big if true: Tibor Blaho нашёл в коде сайта OpenAI указания метрик грядущего агента Operator. Operator, как я писал несколько раз, это такая система, которая видит ваш экран и может кликать мышкой/нажимать клавиши для взаимодействия с приложениями, включая браузер. Осенью Anthropic представили Claude Computer Use, и в таблицах вы можете увидеть сравнения (система OpenAI существенно лучше на всех трёх приложенных бенчмарках; и лучше WebVoyager чем Google Mariner на новой Gemini 2, который показывали в декабре). Также есть таблицы с метриками отказов в выполнении потенциально опасных задач: заработок на крипте, автономное распространение (копирование и запуск) моделей. И последнее — насколько модель падка на уловки/нелегальные активности Ждём анонса на этой неделе?
Big if true: Tibor Blaho нашёл в коде сайта OpenAI указания метрик грядущего…
Из этого канала
- #2240Статья в репозитории: https://github.com/deepseek-ai/DeepSeek-R1 Метрики на…
Статья в репозитории: https://github.com/deepseek-ai/DeepSeek-R1 Метрики на скриншотах API уже доступен на официальном сайте DeepSeek по смешным (по сравнению…
- #2243Попробовал прогнать на этих 4 задачах R1 с сайта https://chat.deepseek.com/ , с…
Попробовал прогнать на этих 4 задачах R1 с сайта https://chat.deepseek.com/ , с первой справилась, на 4ую дала другой ответ, который в среднем валидный, но я…
- #2244Не байтитесь, это неправда. Она по уровню как o1 на узком наборе задач и так…
Не байтитесь, это неправда. Она по уровню как o1 на узком наборе задач и так хорошо работает на двух языках: английский и китайский (о чём пишут сами авторы в…
- #2236Сегодня-завтра DeepSeek должны разродиться полноценной ризонинг-моделью R1,…
Сегодня-завтра DeepSeek должны разродиться полноценной ризонинг-моделью R1, веса уже появились на HuggingFace. Надеюсь, что будет статья + замеры метрик.
- #2235Mood: https://youtu.be/j5GgGdSwjE?t=29 Пояснение: увидел в твиттере от нонейма…
Mood: https://youtu.be/j5GgGdSwjE?t=29 Пояснение: увидел в твиттере от нонейма (я ни разу его не видел) наброс, что якобы в OpenAI уже есть o4-alpha, и что это…