Из сессий с агентами получаются готовые evals Каждый раз, когда выбираю сетап для кодового агента, я немного гадаю. Лучше ли эта новая модель? Помогает ли больше reasoning? Помогают ли эти скиллы? Поэтому из ~1270 своих сессий в Claude Code, Codex и Pi я собрал 10 задач с автоматической проверкой и прогнал на них разные сетапы. Сделал пару публикаций про это, у меня спросили про то, как такое сделать самим. Поэтому вот! Написал гайд + скилл, который делает большую часть работы 📊 Гайд: https://teletype.in/@ibragim_bad/fm5jSJvYb_5 🛠 Скилл: https://github.com/ibragim-bad/evals-from-sessions 🏆 Лидерборд: https://ibragim.dev/leaderboard/ оригинал в X: https://x.com/ibragim_bad/status/2111102467924496721?s=20
Из сессий с агентами получаются готовые evals Каждый раз, когда выбираю сетап…
Из этого канала
- #3995В это сложно поверить, но ровно через месяц, в этот день в этот час, я, как и…
В это сложно поверить, но ровно через месяц, в этот день в этот час, я, как и десятки тысяч других людей, наконец-то буду запускать GTA VI.
- #3996Встречайте — Сиолошная Каждый День Новости про ИИ я читаю каждый день, но не…
Встречайте — Сиолошная Каждый День Новости про ИИ я читаю каждый день, но не каждый день я могу ими делиться тут в канале.
- #3997"🚀 Ловле Starship быть! Выступая на финансовом отчёте Илон Маск и Гвинн Шотвелл…
"🚀 Ловле Starship быть! Выступая на финансовом отчёте Илон Маск и Гвинн Шотвелл подтвердили, что уже в следующем запуске Starship SpaceX попробует поймать…
- #3993"Прикольное фото с первой большой конференции по AI Safety в 2015 году. Слева…
"Прикольное фото с первой большой конференции по AI Safety в 2015 году. Слева направо обведены: Демис Хассабис, Илья Суцкевер, Илон Маск (через пару месяцев…
- #3992BREAKING: ROCKSTAR ОПУБЛИКОВАЛА РЕЛИЗНЫЙ ТРЕЙЛЕР GTA VI
BREAKING: ROCKSTAR ОПУБЛИКОВАЛА РЕЛИЗНЫЙ ТРЕЙЛЕР GTA VI