"Сначала рассматривали предобучение в контексте бесконечного компьюта (см. Pre-training under infinite compute, https://t.me/gonzo_ML/4038), теперь инференс. И там, и тут, выводы близкие: в любой непонятной ситуации делай ансамблирование 😁 Title: Best-of-∞ - Asymptotic Performance of Test-Time Compute Authors: __Junpei Komiyama, Daisuke Oba, Masafumi Oyamada__ Paper: https://arxiv.org/abs/2509.21091 Review: https://arxiviq.substack.com/p/best-of-asymptotic-performance-of Code: https://github.com/jkomiyama/BoInf-code-publish В статье представлен теоретический фреймворк ""Best-of-∞"", определяющий асимптотический предел производительности для стратегии best-of-N (BoN) с голосованием по большинству. Чтобы приблизиться к этому пределу с конечными ресурсами, авторы предлагают два ключевых нововведения: 1) Адаптивный алгоритм сэмплинга, который использует байесовское моделирование (в частности, фактор Байеса), чтобы динамически решать, когда прекратить генерацию ответов, тем самым оптимизируя вычислительные затраты. 2) Метод создания оптимально взвешенных ансамблей из нескольких LLM, который формулирует задачу оптимизации весов в асимптотическом пределе как решаемую задачу смешанного целочисленного линейного программирования (MILP). Подробнее: https://t.me/gonzo_ML_podcasts/1251"