Китайский исследователь создал специальный бенчмарк, с помощью которого можно оценить количество параметров в любой модели Как мы знаем, закрытые лаборатории не раскрывают количество параметров своих моделей. Есть стандартный метод оценки через экономику инференса, но он дает погрешность в 2× и более из-за неизвестных деталей об инфре. Так вот: позавчера на архиве появилась статья, в которой автор предлагает принципиально иной подход, через оценку количества знаний модели. Речь именно о знании фактов, а не интеллекте в целом, потому что способность к рассуждению можно дистиллировать и сжимать в меньшие модели, а фактические знания – нет, они ограничены энтропией Шеннона. Методология такая: автор создал бенчмарк из 1400 фактических вопросов, разбитых на 7 уровней редкости, от широко известных фактов до крайне малоизвестных. Его откалибровали на 89 открытых моделях с известным числом параметров, и оказалось, что есть явная (R²=0.917) лог-линейная зависимость скора на бенче от числа параметров. Проецируя закрытые модели на калибровочную кривую, автор получает такие оценки*: – GPT-5.5 ≈ 9.7T параметров – Claude Opus 4.6 ≈ 5.3T – Claude Sonnet 4.6 ≈ 1.7T – Gemini 2.5 Pro ≈ 1.2T • из-за природы метода и из-за настроек безопасности некоторых моделей (на какие-то вопросы они могут просто отказываться отвечать), эти оценки ближе к нижним границам. Конечно, точность все равно довольно мала, но числа интересные. https://arxiv.org/pdf/2604.24827
Китайский исследователь создал специальный бенчмарк, с помощью которого можно…
Из этого канала
- #11406Про гоблинов и енотов в GPT 5.5 – OpenAI выпустили расследование Начиная с…
Про гоблинов и енотов в GPT 5.5 – OpenAI выпустили расследование Начиная с GPT-5.1 в ответах моделей внезапно расплодились гоблины, гремлины и прочая нечисть –…
- #114072026, ожидания: AGI делает за тебя скучную работу 2026, реальность: ЗА ОРДУ
2026, ожидания: AGI делает за тебя скучную работу 2026, реальность: ЗА ОРДУ
- #11408Из-за АИ Агентов этих скоро обычных имен людских не останется – челы сделали…
Из-за АИ Агентов этих скоро обычных имен людских не останется – челы сделали https://getviktor.com/ И кожаным Викторам приходится подписывать теперь, что они…
- #11404Помните я $30k дал GPT Pro в управление? Забыл написать что там уже x2…
Помните я $30k дал GPT Pro в управление? Забыл написать что там уже x2 случилось 🌝 Это НЕ совет делать так же, я осознаю риски и готов все потерять
- #11402Я не знаю зачем, но в обновлении Codex кодинг агента, в системный промпт для…
Я не знаю зачем, но в обновлении Codex кодинг агента, в системный промпт для модели 5.5 добавили такую строчку: … Никогда не говори о гоблинах, гремлинах,…