Это моя любимая из работ призёров и около-призёров ICML. Разобрали возникновение гроккинга на простой модельной системе — L2 регрессии. Даёт много пищи для размышления про то, как надо обучать. To Grok Grokking: Provable Grokking in Ridge Regression __Mingyue Xu, Gal Vardi, Itay Safran__ Paper: https://arxiv.org/abs/2601.19791, ICML Submission Review: https://arxiviq.substack.com/p/icml-2026-to-grok-grokking-provable Code: N/A Model: N/A # TL;DR ЧТО сделали: Авторы представили первое математически строгое сквозное доказательство феномена гроккинга (отложенной обобщающей способности, которая возникает спустя долгое время после полного переобучения под обучающую выборку) в классической, избыточно параметризованной ридж-регрессии при оптимизации обычным градиентным спуском с weight decay. Они вывели явные неасимптотические верхние оценки для времени переобучения и нижние оценки для времени начала обобщения, показав, как эти временные масштабы контролируются регуляризацией и инициализацией. ПОЧЕМУ это важно: Эта работа в корне меняет понимание гроккинга. Она доказывает, что этот феномен — не экзотическая аномалия, присущая исключительно сложным глубоким нейросетям или фазовым переходам при выучивании репрезентаций. Гроккинг оказался естественным и предсказуемым следствием базовой динамики оптимизации в избыточно параметризованных системах. Это даёт чёткий математический инструмент для контроля, усиления или устранения задержки обобщения в высокоразмерных задачах. Для практиков: Задержку обобщения в больших моделях можно контролировать напрямую, не меняя архитектуру. Настройкой масштаба инициализации и расписания weight decay можно систематически управлять моментом, когда модель начнёт обобщать. Грокать тут: https://t.me/gonzo_ML_podcasts/4443