"Как Colgate заменила $50K исследование 8ю промптами (+ Бонус) Помните пост про предсказание покупок с помощью LLM? Один из авторов исследования — Thomas Wiecki — рассказал про проект, который они сделали с Colgate-Palmolive: заменили consumer survey стоимостью $50K восемью промптами. 57 продуктов, 90% корреляция с реальными покупателями, без файнтюнинга. 3) При помощи LLM генерируем виртуальных покупателей (типа того, как мы делали с юзерами) и просим их ответить по шкале. НО вот тут зарыта собака: обычно при прямом промптировании LLM на шкалу от 1 до 5, они достаточно плохо это делают (сдвинутые распределения, несоответствующие реальности). 4) Поэтому ресерчеры чуть подкрутили этот шаг: сначала они просят LLM сгенерировать текстовый ответ а-ля ""выглядит прикольно, я бы наверное попробовал, если не очень дорого и работает стабильно"", а потом по смыслу - специальным методом, который назвали Semantic-Similarity Rating - маппят эти ответы на шкалу. И сразу получилось адекватно - 90%+ корреляция результатов реальных и виртуальных покупателей. Собственно, бонус: запилили с дружбаном agent skill для этого - забирайте: 1) Описываешь свой продукт/концепт 2) Агент генерит 5-8 персон (возраст, доход, локация — именно эти параметры важны) 3) От лица каждой персоны пишет текстовую реакцию 4) SSR конвертирует текст → распределение по шкале Ликерта 5) Получаешь скор, разбивку по сегментам + текстовое описание ВАЖНО: Когда НЕ юзать такой скилл: нишевые и B2B продукты без онлайн-обсуждений. И когда есть деньги на настоящие исследования 😉 P.S. будем разбирать эту тему на AI Native Product Team, кстати"