AI: Что дальше? Помните выступление Илья Суцкевера про то, что у нас заканчиваются данные? Или Джима Фэна, что данных для тренировок роботов очень мало (пока) и их решение с симуляциями? Мне стало интересно, где ожидается следующий анлок для тренировки и на эту тему очень зашла статья Джека Морриса, ключевые пункты и мои мысли в связи с ними ниже: 1) Тренировка на новом корпусе данных = прорыв Каждый новый прорыв в AI был благодаря тому, что мы научились тренироваться на новом корпусе данных: ImageNet —> AlexNet, WWW —> трансформеры, оценки людей —> RLHF, автоматические оценки AI —> ~~RLAIF~~ reasoning модели. Последний пункт очень важный: я на апдейте говорил, что основные улучшения последних моделей именно в кодинге, математике и тп. Почему? Потому что легко верифицировать результат. Я ожидаю наибольших прорывов в ближайшие месяцы в ризонинге именно в областях/скиллах, которые легко верифицируются: помимо кодинга и математики это анализ данных, биология, определенные области физики и химии. 2) Где тогда ждать следующий прорыв? На каком корпусе данных нам надо научитьсь тренироваться и мы не можем это сделать текущими моделями? Пара гипотез от автора: 1) Видео - Google и YouTube ожидаемо тут фавориты и, возможно, мы видим ранние сигналы с veo3 2) Данные с сенсоров роботов - не забываем, что роботакси и self-driving cars тоже роботы, и Waymo с Tesla тут имеют очень хороший задел. Но и разработчики гуманоидных роботов - безусловно! 3) Мои мысли Про видео и данные роботов - полностью согласен и мы говорили про это. Я еще попробовал прикинуть какие корпусы данных тяжело верифицируются и оттолкнуться от этого в ожидани прорыва: - Юмор - Писательство в широком смысле слова: фикшн, сценарии к фильмам, нарративы - Эмпатия и понимание эмоций - хоть и связано с юмором, но немного стоит в сторонке. - Этика и философия - что такое хорошо и что такое плохо - Поведение сложных социальных систем - тяжело предсказывать из за высокой сложности, я говорил про это на лекции про теории сложности - Мысли людей o__O А вы как считаете?