Seed1.5-Thinking: Advancing Superb Reasoning Models with Reinforcement Learning Не полноценный разбор статьи + модели, просто почитал интересную для себя часть — про Seed-Thinking-Verifier. Эта модель является частью процесса обучения рассуждениям. Как делает обычно, например, в DeepSeek R1: 1. Собирают задачи по математике и программированию, где правильный ответ легко проверяется. Для математики проверка — это сверка ответов, для программирования — прогон десятков тестов. 2. Начинают обучение, модель генерирует варианты, ответы извлекаются и верифицируются (запускаются тесты итд). Seed-Thinking-Verifier — это модель, которая дополняет этот процесс, на уровне со сверкой ответов и запуском тестов. Она вдохновлена процессом тщательного человеческого размышления и глубокого анализа. Тренируется также, как рассуждающая модель, только правильный/неправильный ответ для сравнения — это корректность оценки. То есть модель сама выучивает, как нужно рассуждать, чтобы прийти к выводу о качестве предоставленного ответа. В её промпт всегда подаётся правильный ответ и какой-то ответ. Например, это может быть пара 524288 и 2^19 (оба числа равны, но простая проверка в лоб не выявит этого). Кроме этого, Seed-Thinking-Verifier может помочь с решением проблем, которые часто возникают с «обычным» верификатором, например, пограничные/крайние случаи, которые не тестируются/не описаны в и исходном ответе. А теперь рубрика «я нипонел» 😐 — вот авторы говорят это всё, но... при этом применяют Seed-Thinking-Verifier только для STEM задач (большая часть из них — математика). При этом прям отдельно написано, что у них есть неверифируемые задачи (то есть там где нет однозначно правильного/неправильного ответа, скажем, креативное письмо или перевод). Для них используется обычный Reward modelling, хотя казалось бы именно тут Thinking-Verifier может расцвести! Может быть, в 2.0 версии исправят Картинка: сравнение верификатора без рассуждений (модель предсказывает YES/NO по промпту + истинному ответу + ответу модели) и Seed-Thinking-Verifier. Оба обучены на одном и том же наборе данных и там получают 99% правильных оценок. А на семпле в 456 отобранных новых запросов заметна разница — рассуждающий верификатор гораздо более точен и почти не ошибается.