"AI как слот-машина или 2 стратегии AI продуктов Разговариваю на днях с клиентом - он какой-то загруженный. - Что такое? - Да блин, пытаемся снять промо-ролик: записали сотрудника в простом сеттинге, дальше хочу сгенерировать видео, чтобы он по скрипту озвучивал текст. HeyGen и т.п. - не могу добиться нормального результата. Чуть-чуть похоже - вроде ок, но чуть-чуть не так. Запускаю опять, опять не то. Ощущение - я сижу в казино, дёргаю слот: иногда сходится, эйфория, как бы победа - а в следующий раз всё ломается заново. Слил уже $150 и так и не получилось. Я в Лас-Вегасе, в общем Мне очень зашла метафора почему-то. Стал её раскручивать на пару с дружбаном и, сам не понимая как, пришел к вопросу: а что если выручка ряда GenAI-компаний это производная от того, что мы не можем детерминированно управлять, например, диффузионными моделями? И, грубо говоря, в то время как лидирующие лаборатории решают эту проблему - mechanistic interpretability и вот это вот все - это угроза для таких компаний? Оказалось, что многие уже активно используют эту метафору, это я слоупок. Особенно понравилась эта (спасибо Саше К. за наводку): Kitze в недавнем токе шутит почти дословно: “My favorite one is a comparison to a casino. So in casino you buy chips. Here you buy tokens. You spin the slots or you press generate. You might hit the jackpot or nothing. You get a functional full stack app or garbage. Flashing lights, active animation. ‘You're absolutely right. Great idea.’ ‘I've got my own strategy. I'm a prompt engineer.’ На эту тему несколько мыслей: 1) Диффузионные модели (генерация картинок/видео): генерят из шума, поэтому имхо там гораздо чаще проявляется это допаминовое: ""ну вот почти круто, но вот немножечко тут подкрутим"" —> прямо как в слот аппарате, в котором чуть не выпало 777. Чем больше степеней свободы у аутпута модели (видео = миллионы пикселей × время), тем больше ощущение казино. 2) Интересно найти статистику о распределении обьема токенов на выполнение разного типа задач: предположение, что если проявляется это ""слот-машин свойство"", то мы увидим, что мало того, на картинки/видео уходит слишком много токенов, но еще и вариабельности высокая: то есть, то все очень круто с one-shot, то нужно бесконечно ""крутить барабан"" Rachel Thomas приводит интересное понятие из мира гемблинга: Loss Disguised as a Win (проигрыш, закамуфлированный под выигрыш). На мультилайн слотах можно поставить 20 центов и получить 15 кредитов обратно с разными свистелками/перделками, какой ты крутой и как тебе повезло - мы реагируем на это как на выигрыш, хотя по факту мы в минусе на 5. То же с дружбаном: количество сгенерированного кода, скорость, «собрал прототип за час» - ощущается как победа, а через неделю выясняется, что в 9 раз больше уязвимостей. И теперь вернёмся к тому, с чего стартовали - к гипотезе про выручку GenAI-компаний. Слот-машинная экономика - это так называемая transitional rent (временная рента). Если ваша юнит экономика завязана на N>1 попыток на одну удачу - вы, по сути, очень зависите от темпов улучшения моделей (улучшения именно в части детерминированности). Глобально мы знаем, что цена на токен стремительно падает. НО эта дефляция пока ""компенсируется"" ростом затраченных токенов на задачу. SemiAnalysis это уже окрестили «tokenmaxxing», когда на одну и ту же задачу мы ради повышения качества бросаем все больше и больше токенов; прямо как людей все больше бросает на решение одной и той же проблемы, чтобы ""решилось уже, наконец"". В CС, например, соотношение входных/выходных токенов 100:1. То есть важнее следить не за cost per token, а за cost per task, и постоянно чекать: а действительно ли улучшается качество с ростом этого индикатора, и насколько оно того стоит. Отсюда скорее всего мы увидим (а может уже?) 2 типа стратегий у билдеров: - Слот-машин-стратегия —> больше пуллов слот машины = больше выручка. Это казино-бизнес; работает, пока модели не очень. - Принтер-стратегия —> меньше пуллов до результата —> ниже заработок на сессию, выше доверие. Долгосрочно более выгодная стратегия имхо. А у вас какая, кстати?"