Ученые из Google обнаружили, что если повторять промпт два раза, качество ответов моделей существенно возрастает На архиве опубликовали коротенькую статью, в которой исследователи делятся занятным хаком: если повторять запрос, то есть отправлять промпт в LLM не в виде «<QUERY>», а в виде «<QUERY><QUERY>», качество ответов модели в ~67% случаев статистически значимо улучшается Важно: это работает только для Non-Reasoning. С ризонингом эффект нейтральный или слегка положительный, так что применять смысла особо нет. Но вот для Non-Reasoning лайфхак должен быть рабочий, и к тому же очень простой и (почти) бесплатный. Авторы показывают, что количество генерируемых токенов от повтора промпта не растет, как и задержка ответа. Почему вообще это работает? Все мы уже выучили, что порядок токенов в промте важен. И это потому, что большинство моделей обучаются каузально, то есть предыдущие токены не получают доступа к следующим. Тут в основе та же логика. Грубо говоря, получается, что какие-то токены в промпте никогда не видят другие, а повторяя запрос, мы эту ассиметрию устраняем -> качество растет. Почему тогда для ризонеров не канает? Тут тоже есть объяснение. Просто ризонеры уже самостоятельно научились повторять промпт сами себе (вы точно это замечали). То есть здесь еще одно повторение уже не дает такого импакта, а в случае с не-ризонерами этот эффект мы просто выносим в prefill. Пользуйтесь: arxiv.org/pdf/2512.14982
Ученые из Google обнаружили, что если повторять промпт два раза, качество…
Из этого канала
- #8540Пентагон заключил контракт с xAI Теперь Grok будут пользоваться все, кто так…
Пентагон заключил контракт с xAI Теперь Grok будут пользоваться все, кто так или иначе относится к министерству обороны США: всего его развернут на ~3 миллиона…
- #8541GLM-4.7 – новая опенсорсная сота для кодинга Похоже, новая китайская звезда –…
GLM-4.7 – новая опенсорсная сота для кодинга Похоже, новая китайская звезда – это стартап Z.ai.
- #8542POV: ИИ-компании смотрят на те самые 300ТБ Spotify треков на Anna’s Archive
POV: ИИ-компании смотрят на те самые 300ТБ Spotify треков на Anna’s Archive
- #8538Генеративный ИИ пока еще уступает традиционным инструментам ML/DL по…
Генеративный ИИ пока еще уступает традиционным инструментам ML/DL по практическому импакту: наблюдение ведущего аналитика данных Walmart (ex-Amazon) Несмотря…
- #8537100500 раунд финансирования: OpenAI в очередной раз нужны деньги The Wall…
100500 раунд финансирования: OpenAI в очередной раз нужны деньги The Wall Street Journal сообщает, что в этот раз они планируют пливлечь, внимание, 100…