Ограничения LLM для корпоративного использования Пришло время сделать ряд выводов на основе практик внедрения и использования GenAI. Выше я много писал про важность онтологий на базе модели предметной области. Без них общение с LLM будет в общем случае бессмысленным (не как эмоциональная окраска, а буквально – без строгого определения терминов и связей между ними LLM не поймет в точности вашу ментальную модель, она не умеет читать мысли и будет использовать ту терминологию, которую сочтет наиболее подходящей на основе имеющейся информации). Приведу пример из GameDev. Вот есть MMORP игра (любая). В играх вся логика - это математика. Но при этом много вариантов, как в той или иной ситуации эту математику применить. И вся эта информация живет разрозенно в головах людей, игровых чатах. Публично - почти ничего нет. И вот ты хочешь построить всякие системы автоматизации, чтобы ввел, да хоть в эксель, цифры и оно рассчитало, сколько нужно войск, чтобы победить с минимальными потерями. И фиг ты это сделаешь =) Затраты на сбор, консолидацию информации, представление в нужном виде - мало того, что затратно, так еще и очень сложно, потому что помимо математики нужно определить и модель предметной области, к которой она применима, иначе просто не сформулировать промт, - то есть названия артефактов, монстров, действия над ними, ситуации. Все в терминах игр. И это только игра, которая мксимально ограничена в сравнении с какой-нибудь организацией. Таким образом, для любой системы, которую захочется автоматизировать или к которой захочется применять ИИ, первый шаг – не промт и не данные. Первый шаг – это явно описать, какие сущности существуют в этой системе, какие у них атрибуты, какие операции над ними допустимы и при каких условиях. Данные без онтологии – это буквально таблица без заголовков, что за данные, – никто не знает. То есть в примере с игрой начинать имеет смысл с того, что уже знаешь как игрок. Каждый фактор, который хоть раз влиял на победу или поражение, так можно получить черновик онтологии, который уже затем можно заполнять данными (главное - понятно какими). Однако, есть нюанс. Мы предположили, что система детерминирована, что исход боя детерминирован при фиксированных переменных. И для игровой механики это так, то есть для бэкенда. Это ж математика и алгоритмы. В корпоративном мире – это регламенты, приказы, предписания, - зафиксированные правила. Только это пока еще даже не половина 🙂 Реальный исход боя в игре – это не только боевая механика, это механика плюс исполнение. И это вообще другой слой переменных: скорость реакции игрока, человеческие ошибки, задержка соединения, усталость, ресурсные ограничения, незнание, лень… И вот у нас уже два слоя онтологии: • Механика, которая в целом полностью формализуема, максимальный результат при идеальных условиях • Исполнение, формализуемое только частично, то где нужно получить приемлимый результат при неидельном исполнении Появляется разделение на контролируемые и неконтролируемые переменные. И вообще-то это пока хорошие новости и они достаточно неплохо определяют где нам следует использовать AI, а (можно и с помощью AI) создаются вполне детерминированные модели. Краткий вывод: строится онтология «механики», которая работает в идеальных условиях, сверху онтология, предполагающая иррациональных агентов (людей) в нестабильной среде. Так решение становится более надежным в реальных условиях.