Посмотрите на это фото внимательно: что на нем происходит? Что будет или может произойти? А что если вы - водитель автомобиля? А если собака была бы на поводке у мужчины, а не женщины? Моя любимая Мелани Митчелл написала классную 2х серийную статью про один из центральных споров в LLM: формируют ли LLMки внутреннюю модель мира (как мы при взгляде на фото выше), помогающие нам прогнозировать ситуацию на более скомпрессированном, абстрактном и энергетически-эффективном уровне, или они просто, благодаря безумному количеству параметров, запоминают эвристики/правила, но не формируют реальной картины мира. Лагерь ML ресерчеров разделился практически 50/50: одни утверждают, что да, формируют (Илья Суцкевер, например), другие - обратное (Ян ЛеКунн из Meta). Tldr: пока, кажется, это лишь набор эвристик. Почитайте обязательно, чтобы лучше понимать, чего стоит ожидать от LLM и чего - нет. Например, если это большая коллекция запомнившихся эвристик, то не стоит ожидать оригинальных решений от нее (говорил недавно на этом выступлении). Мое мнение: 1) что можно дропнуть пункт про энергетическую эффективность пока 2) что есть миллиард ситуаций, где большая коллекция эвристик - уже более чем достаточно для эффективной замены человеческого труда и на этом нам, практикам, пока надо сфокусироваться 3) надо управлять ожиданиями (в первую очередь, своими!) о том, чего ожидать от LLM.