Очень понравился этот кусочек из рассказа про то как 4.5 тренили: Почему обучение без учителя (unsupervised learning) работает? Причина — в сжатии (поиск самого короткого «описания», передающего суть всех данных). Поэтому идеальный интеллект называется Solomonov induction (метод, который воображает все возможные варианты устройства мира и выбирает самый простой). Проще говоря, такой интеллект не уверен, в какой именно вселенной он находится, и рассматривает все возможные варианты, причём простые версии считает более вероятными, чем сложные. Он полностью байесовский (учитывает все гипотезы и корректирует их вероятности, когда поступают новые данные), то есть хранит эти варианты в голове и обновляет свои взгляды по мере получения новых сведений Мы можем приблизиться к этому, найдя «__самую короткую программу__» (наиболее краткое объяснение всего, что мы наблюдали до сих пор), которая вычисляет всё увиденное ранее. И то, что мы делаем при предобучении (pre-training, этап обучения на больших объёмах данных без жёсткой разметки), или один из способов понимать этот процесс, — это тоже сжатие: мы пытаемся найти самую короткую программу, способную объяснить все данные, созданные людьми, чтобы приблизиться к идеалу Целиком видео тут А тут лекция от начинающего ютубера на эту же тему (на русском)