"Предсказываем покупки с LLM Еще ~~один гвоздь в гроб ~~~~маркетинговых исследований~~ - статья о том, как при помощи LLM предсказывают покупки людей: разбираемся 1) Протестили на результатах 57 опросов по продуктам по персональному уходу (зубная паста и тп), 9300 ответов 2) Обычно в этих опросах используют шкалу Ликерта а-ля ""Я куплю этот продукт, если он появится в продаже"" от ""Точно нет"" (1) до ""Конечно да"" (5) 3) При помощи LLM генерируем виртуальных покупателей (типа того, как мы делали с юзерами) и просим их ответить по шкале. НО вот тут зарыта собака: обычно при прямом промптировании LLM на шкалу от 1 до 5, они достаточно плохо это делают (сдвинутые распределения, несоответствующие реальности). 4) Поэтому ресерчеры чуть подкрутили этот шаг: сначала они просят LLM сгенерировать текстовый ответ а-ля ""выглядит прикольно, я бы наверное попробовал, если не очень дорого и работает стабильно"", а потом по смыслу - специальным методом, который назвали Semantic-Similarity Rating - маппят эти ответы на шкалу. И сразу получилось адекватно - 90%+ корреляция результатов реальных и виртуальных покупателей. 5) Парочка ""но"": LLM-ки плохо предсказывали ответы в зависимости от пола, религии, этнической принадлежности и вероятно плохо работают с продуктами, по которым недостаточно данных/обсуждения онлайн; с доходом и возрастом же все было гуд. А я вот думаю: это реально LLMки молодцы или мы зря делаем исследования, можно было просто почитать форумы?"