"Почему LLMки пока хуже 4х летнего ребенка? Получил удовольствие от просмотра лекции Alison Gopnik из Santa Fe Institute —> вот ключевые мысли: 1) Есть разные типы интеллекта, в завимости от стадии жизни: - исследовательский (explore) - это, в основном, про детей, про поиск вширь - эксплуатирующий (exploit) - это про взрослых, про эффективность, про поиск вглубь - заботящийся (care) и передающий культуру (culture transmission) - это про пожилых, про сохранение и передачу накопленного знания и опыта, традиций Гопник разводит поиск истины и передачу знаний: дети как исследователи расширяют пространство возможного, а взрослые и пожиле же - обеспечивают достоверность и преемственность. 2) Дети большую часть своего раннего развития тратят на проверку гипотез, слом паттернов, и пробование вещей, которые не работают. Их темп обучения высокий - learning rate в терминах машинного обучения - а чувствительность к вознаграждению - низкая —> они учатся через любопытство, а не ради эффективности. Чего не скажешь о взрослых. LLM-ки же, напротив, сжимают и имитируют существующее знание; они невероятно хороши в передаче культуры (как накопленного знания), но слабоваты в генерации фундаментально новых абстракций. (да, мы в последнее время начинаем замечать, что появляются таки новые открытия) 3) Поэтому LLMки стоит рассматривать не как новый тип интеллекта, а скорее как ""инфраструктуру"" для более эффективной передачи коллективного человеческого знания. Так же как письменность, печатный станок, и Интернет. Посмотрите на досуге - для меня это стало глотком свежего воздуха и новой перспективой на фоне одног и того же перемалывания и спекуляции. https://www.youtube.com/watch?v=PNE5pfQBlxM === P.S. Кстати, открыл для себя еще один способ использования Atlas - открываю YouTube и прошу порекомендовать мне видео, связав с моими интересами, и по мере просмотра лекции задаю вопросы справа, получаю доппейперы, видео и книги по теме."