"⚪️ Эвал моделей - финальный забег по фокусному аспекту #ddeval #52vs53 ▶️ Зафиналим эксперимент! Часть 2: опять 6 сессий, но теперь будет фокусный аспект - типизация: кто в курсе про TS - это использование ""as any"" и заморочки типизации в коде. Модели будут смотреть только этот аспект, и больше ничего. Так проще проверить действительную внимательность, детальность и смышленость модели. Этап сбора контекста, тайминги и финишный контекст (процент свободного): gpt 5.2: * 1: 3.5 мин, 71% * 2: 3.5 мин, 75% * 3: 4.5 мин, 61% gpt 5.3-codex: * 1: меньше 2мин, 69% * 2: меньше 2 мин, 67% * 3: 3 мин, 70% Стартуем: gpt5.2 возился заметно дольше, gpt5.3-codex существенно пошустрее. На одной сессии разница раза в 2,5 по времени достигла (там 5.2 после компакта решил еще на разик все переделать заново). Ничего неожиданного! Сварм в 5.3 был в сесси 2 и 3. Первые результаты сведения находок: ▶️ 5.3-codex : найдено 23 проблемы. сессия 1 нашла 1 уникальную проблему, сессии 2 и 3 со свармом - 3 и 6. проблем. Соответственно, сварм опять сделал лучше. ▶️ 5.2: нашла заметно больше проблем - 34. Это на 50% больше! - только gpt5.2: 21 - в обоих: 14 - только gpt5.3-codex: 12 🆕 Расход токенов. Сам анализ занял примерно 100m токенов модели 5.2 и 78m токенов 5.3-codex. То есть кодекс на 20% меньше токенов кушает точно. замечу - тут еще потери на сварме! если в один поток, экономия токенов будет еще значительнее. 👉 Выводы по туру 2: сварм в 5.3 действительно улучшает результаты. 👉 Модель 5.3 работает быстрее минимум на 30%, и тратит токенов минимум на 20% меньше. Сварм заметно замедляет агента на небольших задачах. 👉 Внимательность и глубина проработки вопросов у 5.2 все таки больше, и заметно. 🟢 Мой Вывод: дебаг и планирование остаются за 5.2. Кодирование по проработанному плану (когда не нужно глубоких раздумий) вполне можно делать на 5.3 - будет быстрее, дешевле по лимитам, и не хуже! Сварм включаем для более сложных задач, он улучшает качество почти до 5.2 на подходящих вопросах."