Перплексия теперь не модно. Эпиплексия модно. Всё на благо ограниченных наблюдателей! Epiplexity: Quantifying the Structural Value of Data for Bounded Observers __Marc Finzi, Shikai Qiu, Yiding Jiang, Pavel Izmailov, J. Zico Kolter, Andrew Gordon Wilson__ Статья: https://arxiv.org/abs/2601.03220 Ревью: https://arxiviq.substack.com/p/from-entropy-to-epiplexity-rethinking # TL;DR ЧТО сделали: Авторы ввели понятие эпиплексии (epiplexity) — новую метрику из теории информации, которая оценивает объём структурной информации, доступной *вычислительно ограниченному* наблюдателю. В отличие от энтропии Шеннона или колмогоровской сложности, подразумевающих бесконечные ресурсы, эпиплексия явно учитывает конечность модели (программы) и процесса обучения (вычислений). ПОЧЕМУ это важно: Этот фреймворк разрешает старые парадоксы, где теория противоречит практике глубокого обучения — например, почему детерминированные процессы (вроде симуляций или self-play) создают ценный сигнал. Практически это даёт строгую метрику для отбора данных: для предобучения важен не минимум финального лосса (энтропии), а максимум усваиваемой структуры (эпиплексии). Подробнее: https://t.me/gonzo_ML_podcasts/2022