Какая прикольная работа! CaT вместо CoT-SC. Делаем несколько роллаутов, а потом не отбираем из них правильный ответ, а синтезируем! Из интересного, CaT может генерировать правильный ответ, даже когда __каждый из входных роллаутов ошибочен__. https://t.me/gonzo_ML_podcasts/1004 Важно понимать подход CaT в контексте других недавних методов, не требующих эталонов. Хотя такие техники, как TTRL (https://arxiv.org/abs/2504.16084), также используют несколько роллаутов, они обычно полагаются на механизмы __отбора__, например, на поиск консенсуса большинством голосов. Сдвиг парадигмы в CaT в сторону __синтеза__ — построения нового, лучшего ответа из частей несовершенных — вот что позволяет ему быть правым, даже когда все роллауты (а следовательно, и консенсус большинства) ошибочны.
Какая прикольная работа! CaT вместо CoT-SC. Делаем несколько роллаутов, а потом…
Из этого канала
- #4152Отменный самовар получился
Отменный самовар получился
- #4153Свободу трансформерам! https://t.me/gonzoMLpodcasts/1020 Добавили к…
Свободу трансформерам! https://t.me/gonzoMLpodcasts/1020 Добавили к авторегрессионной генерации латенты в стиле CVAE и сделали это с почти минимальным…
- #4154Интересная работа про Planned Diffusion: сначала авторегрессионно генерим план…
Интересная работа про Planned Diffusion: сначала авторегрессионно генерим план ответа, потом диффузионно впараллель заполняем его отдельные части.
- #4150В тему: https://superintelligence-statement.org/ We call for a prohibition on…
В тему: https://superintelligence-statement.org/ We call for a prohibition on the development of superintelligence, not lifted before there is 1.
- #4148"Нормального решения на столе до сих пор нет, от всех ИИ компаний лучится…
"Нормального решения на столе до сих пор нет, от всех ИИ компаний лучится нескончаемый венчурный оптимизм, подкреплённый ничем.