Про важность калибровки и неполную состоятельность теории платоновских представлений. Revisiting the Platonic Representation Hypothesis: An Aristotelian View Fabian Gröger, Shuo Wen, Maria Brbić Paper: https://arxiv.org/abs/2602.14486 Review: https://arxiviq.substack.com/p/revisiting-the-platonic-representation Code: https://github.com/mlbio-epfl/aristotelian # TL;DR ЧТО сделали: Авторы разработали универсальный фреймворк калибровки относительно нуля (null-calibration) на основе перестановок. Он переводит «сырые» показатели сходства представлений в откалиброванные размеры эффекта со строгими статистическими гарантиями. Этот подход напрямую устраняет влияние ширины (размерности эмбеддингов) и глубины (пространства поиска слоёв) моделей — двух факторов, которые искусственно завышают метрики сходства. ПОЧЕМУ это важно: Исследование опровергает один из главных тезисов современной теории представлений: после корректной калибровки глобальное кросс-модальное схождение («Платоновская гипотеза») практически исчезает. Вместо него авторы формулируют Аристотелевскую гипотезу представлений, доказывая, что при масштабировании сети сходятся именно на уровне локальных топологических связей в окрестностях данных. Для практиков: Фреймворк полностью независим от используемых метрик, выложен в опенсорс и позволяет корректно сопоставлять геометрию латентных пространств моделей разных масштабов без риска получить ложные статистические корреляции. Его стоит внедрить всем, кто занимается мультимодальным обучением, AI alignment или сопоставлением ИИ с биологическим мозгом. Фиксить платоновские репрезентации тут: https://t.me/gonzo_ML_podcasts/4159
Про важность калибровки и неполную состоятельность теории платоновских…
Из этого канала
- #5626Лекун и ко продолжают развивать тему про self-supervised обучение на картинках…
Лекун и ко продолжают развивать тему про self-supervised обучение на картинках и видео.
- #5631Tech.report по DiffusionGemma ещё не вышел, а статьи с анализом уже выходят.…
Tech.report по DiffusionGemma ещё не вышел, а статьи с анализом уже выходят. How Transparent is DiffusionGemma? Joshua Engels, Callum McDougall, Bilal…
- #5637Мы неправильно готовили GPU всё это время! MegaTrain: Full Precision Training…
Мы неправильно готовили GPU всё это время! MegaTrain: Full Precision Training of 100B+ Parameter Large Language Models on a Single GPU Zhengqing Yuan, Hanchi…
- #5621Контуры будущего: секция про Клауд на Google I/O Connect теперь выглядит так.…
Контуры будущего: секция про Клауд на Google I/O Connect теперь выглядит так. Почти всё про агентов и AI-driven разработку
- #5616Подход к оценке прогресса в AGI от DeepMind. С Шейном Леггом в соавторстве. И с…
Подход к оценке прогресса в AGI от DeepMind. С Шейном Леггом в соавторстве. И с Ботвиником, правда он уже в Антропик перешёл.