"В связи с последними релизами начал переделывать свой workflow. Решил сменить пул моделей, на которых работаю. Последние 2 дня решал для себя ключевую задачу: подобрать базовую кодинг модель. Решил, что первичными критериями отбора будут: - pass@1 выше 59% __(pass@1 — доля попыток, в которых модель решила задачу с первого раза)__ - pass@4 выше 79% __(pass@4 — доля задач, решённых хотя бы в одной попытке из четырёх)__ Прогнал результаты всех моделей, включая китайцев В итоге ни одна китайская модель в рейтинг не вошла, как и gemini У нас сейчас два неоспоримых лидера по качеству кодинга, это OpenAI и Anthropic, но есть одно но - у Антропиков только Fable вошёл в рейтинг. Opus 4.8 уже вне фронтира. Мой выбор: Sol high Оптимальность по всем осям. По качеству - 69.4%, статистически неотличимо от Fable xhigh и Terra max, в трёх пунктах от абсолютного потолка рынка. По цене - $3.47, дешевле Terra max при равном качестве, то есть прямая доминация ближайшего конкурента. По времени - 9.9 минут на pass1 и 14.3 минуты на pass2: лучшая скорость во всём ""клубе 59/79"", лучшая на рынке. Четвёртая ось, которую обычно не замечают, это ""гигиена"" исполнения. 37 шагов и медианный пиковый контекст 98k токенов на задачу. Это глубоко внутри зоны его сильного long-context (91.5% MRCR) и без раздувания шагов, которым компенсируются слабости у Luna (102 шага) или Sonnet 5 (268). Sol high решает задачи коротким путём, а не берёт их ""измором"" через длительные цепочки рассуждений ""ах вот оно что"" и ""ух ты, оказывается..."" Экономика тоже сходится: - шаг вниз до medium экономит $1.61, но роняет качество на 8.3 п.п. (плохой размен), - шаг вверх до xhigh стоит +$1.23 за +1.3 п.п. (платим за шум). Итого, на medium мы теряем много качества за малые деньги, выше - переплачиваем без улучшения качества. P.S. Уже включил Sol high как наиболее экономичный, быстрый и надёжный исполнитель для написания кода в свой flow. Рекомендую."
"В связи с последними релизами начал переделывать свой workflow. Решил сменить…
Из этого канала
- #968"⚪️ Планирование Обсудим мое текущее понимание этапа планирования. ▶️ На…
"⚪️ Планирование Обсудим мое текущее понимание этапа планирования. ▶️ На верхнем уровне: модель плохо оперирует большими задачами.
- #969"⚪️ Планирование, часть 2/2 ... (начало тут: https://t.me/deksdennotes/968) ❓…
"⚪️ Планирование, часть 2/2 ... (начало тут: https://t.me/deksdennotes/968) ❓ Если модели такие умные, почему бы просто сложную/большую задачу не планировать…
- #970"⚪️ О сложности задачи В каком то смысле, это постскриптум к предыдущему посту.…
"⚪️ О сложности задачи В каком то смысле, это постскриптум к предыдущему посту. Хотел сказать о сложности: я сложность задачи оценивал бы по следуюшим…
- #966⚪️ Еще один ресет?! Тибо пишет что завтра, возможно, у кодекса будет 8М…
⚪️ Еще один ресет?! Тибо пишет что завтра, возможно, у кодекса будет 8М пользователей.. И, видимо, ...
- #965⚪️ Blume: opensource генератор док сайтов от Vercel Собственно, сабж: 🔗…
⚪️ Blume: opensource генератор док сайтов от Vercel Собственно, сабж: 🔗 Оффсайт: https://useblume.dev 🔗 Быстрый и решительный старт :…