Вот в этой табличке я просил GPT посчитать разницу в эффективной цене моделей при использовании кодинг-агента. Получилось, что GPT-5.4 в 2 раза дороже большой DeepSeek v4 Pro, а GPT-5.5, соответственно, в 4 раза. Но при этом важно учитывать эффективность рассуждений — моделям OpenAI нужно меньше токенов, чтобы достичь такого же или лучшего результата. Пока что это сравнение можно сделать лишь на основе одного бенчмарка, TerminalBench 2.0 — обе компании выпустили графики, где по горизонтали количество токенов, а по вертикали качество. Как иллюстрация: GPT-5.5, чтобы достигнуть 75%, нужно сгенерировать 7000 токенов. DeepSeek v4 Pro для 68% нужно 50 тысяч. Но есть сомнение, что горизонтальная ось здесь одинаковая: у DeepSeek подпись «Total Tokens», так что сюда могут входить описание задачи и результаты вывода в терминале. С другой стороны, DeepSeek-V3.2 вон тоже какое-то качество показывает на 10-15 тысячах токенов. Так что скорее всего разница какая-то есть, но она точно не в 7 раз. Для более точного сравнения нужно подождать прогон от Artificial Analysis, ну и побольше других бенчмарков, которые тоже замеряют эффективность. (и всё это — не говоря про то, что DeepSeek традиционно медленно генерирует токены, так что разница в скорости решения вашей задачи может быть больше, чем в 4-5 раз)
Вот в этой табличке я просил GPT посчитать разницу в эффективной цене моделей…
Из этого канала
- #3579Через неделю начинается судебный процесс Musk v Altman, в ходе которого их…
Через неделю начинается судебный процесс Musk v Altman, в ходе которого их обоих, а также многих директоров OpenAI и Microsoft, вызовут на трибуну для ответов…
- #3580Neuralink напоминают, что они работают над прототипом для управления робо-рукой…
Neuralink напоминают, что они работают над прототипом для управления робо-рукой силой мысли (тот же чип в голове, что и для управления компьютером).
- #3581В очередной раз увидел, как одна модель смогла исправить баг, который друге не…
В очередной раз увидел, как одна модель смогла исправить баг, который друге не могли.
- #3576Как же всё таки приятно видеть возвращение табличек, где уместно, в GPT-5.5.…
Как же всё таки приятно видеть возвращение табличек, где уместно, в GPT-5.5. Welcome back, o3 😊
- #3575На картинке с сайта под табличкой есть приписка: Из-за ограничений в…
На картинке с сайта под табличкой есть приписка: Из-за ограничений в вычислительных мощностях текущая пропускная способность сервиса весьма ограничена.