"Интересная работа. Я её разбирал в англоязычном блоге год назад, но сюда кажется так и не запостил. Работа же дошла за это время до ICML. Интересны для меня в ней по крайней мере три момента: 1. Оценена ""ёмкость"" каждого веса, сколько он добавляет к памяти — примерно 3.6 бита на параметр. Что отдельно интересно, что fp32 по сравнению с bf16 не очень много добавляет, 3.83 против 3.51, не в два раза. 2. Работа очень хорошо подтверждает теорию информационного боттлнека им. Нафтали Тишби, что у модели есть в обучении две фазы — в первой она всё запоминает что может, во второй ей приходится сжимать ибо уже не лезет. Неожиданно, это та самая точка, где наблюдается double descent. 3. Если отношение токенов к параметрам больше 100, то это статистически гарантирует невозможность membership inference атаки. How much can language models memorize? __John X. Morris, Chawin Sitawarin, Chuan Guo, Narine Kokhlikyan, G. Edward Suh, Alexander M. Rush, Kamalika Chaudhuri, Saeed Mahloujifar__ Paper: https://arxiv.org/abs/2505.24832, ICML Submission, ICLR Submission Review: https://arxiviq.substack.com/p/icml-2026-how-much-can-language-models Code: N/A Model: https://huggingface.co/rhysjones/gpt2-774M-fineweb-150B ICML 2026 Outstanding Paper Honorable Mention # TL;DR ЧТО сделали: Авторы разработали информационно-теоретический фреймворк на базе колмогоровской сложности, который позволяет строго отделить непреднамеренное запоминание от обобщения. Обучив и протестировав сотни моделей архитектуры GPT на синтетических и реальных данных, они оценили эмпирическую ёмкость памяти трансформеров примерно в 3.6 бита на параметр и вывели сигмоидальный закон масштабирования для атак восстановления членства (membership inference). ПОЧЕМУ это важно: Эта работа даёт строгое физическое объяснение феномену двойного спуска (double descent). Она доказывает, что обобщение математически неизбежно, когда объём датасета в битах превышает ёмкость памяти модели. Кроме того, исследование показывает, что современные LLM, обученные на гигантских массивах данных, математически защищены от атак восстановления членства: вероятность успеха таких атак падает до уровня случайного угадывания, как только соотношение токенов и параметров превышает `10^2`. Для практиков: Полученные оценки ёмкости позволяют проектировать пайплайны обучения с гарантированной защитой от утечки данных. Теперь можно математически рассчитать размер модели и объём обучающей выборки так, чтобы полностью исключить возможность извлечения конфиденциальных тренировочных примеров. Считать информацию тут: https://t.me/gonzo_ML_podcasts/4418"