⚪️ Большой февральский тест: Glm-5, M2.5, K2.5, opus 4.6, gemini 3 pro, gpt-5.2 #ddeval #feb2026eval Итак, сегодня делаем большой тест свежих моделей китов против текущего фронтира. В сравнение попадают: * Z.ai GLM-5, упряжка ClaudeCode * MiniMax M2.5, OpenCode * Kimi K2.5, OpenCode * не тестировал в эвале ранее - Opus 4.6, ClaudeCode (из антигравити) * и как база - OpenAI gpt-5.2, Codex * а Gemini 3 pro до кучи - анализ ведь, а не код писать Напомню, вот прошлый тур сравнения кодекс 5.3 и gpt 5.2 оценивались, его смотреть можно по тегам #ddeval и #52vs53: * https://t.me/deksden_notes/439 первый пост из цепочки * https://t.me/deksden_notes/443 второй этап, фокусная задача ▶️ Методика та же: * делаем прайминг меморибанком * делаем промпт на широкий анализ * делаем свод внутри агента/модели, потом между моделями * каждый агент/модель запускается в 3х экземплярах, чтобы сделать @3 семплинг для снижения случайных девиаций. Приступим! @deksden_notes
⚪️ Большой февральский тест: Glm-5, M2.5, K2.5, opus 4.6, gemini 3 pro, gpt-5.2…
Из этого канала
- #458⚪️ Приступим к эвалу #ddeval #feb2026eval Ну - и к цифрам по отчетам! Это и…
⚪️ Приступим к эвалу #ddeval #feb2026eval Ну - и к цифрам по отчетам! Это и есть, собственно, эвал - количественное выражение некоего эксперимента/оценки.
- #459"⚪️ Подводим итоги первого этапа #ddeval #feb2026eval Сейчас у нас есть…
"⚪️ Подводим итоги первого этапа #ddeval #feb2026eval Сейчас у нас есть консолидированные отчеты каждого агента, по 3 отчета на каждого агента.
- #460⚪️ Пост-анализ эвала на ревью по Priority классификации #ddeval #feb2026eval…
⚪️ Пост-анализ эвала на ревью по Priority классификации #ddeval #feb2026eval Решил еще немного помучать агента статистикой.
- #456⚪️ Стадия широкого исследования #ddeval #feb2026eval Итак, закидываем промпт…
⚪️ Стадия широкого исследования #ddeval #feb2026eval Итак, закидываем промпт на широкое исследование тестового проекта.
- #455⚪️ Стадия 0, Прайминг #ddeval #feb2026eval С опусом из антигравити возникла…
⚪️ Стадия 0, Прайминг #ddeval #feb2026eval С опусом из антигравити возникла сразу же проблема: гугл запросил верификацию моего вьетнамского аккаунта с…