"Те, кто часто юзает нейронки для креативных задач, наверняка замечали, что при одном и том же промпте результаты генерации довольно однотипные, даже если сильно менять параметры. Да, какие-то вариации есть, но ничего кардинально нового — если попросить сделать, например, ""креативные часы"", то, скорее всего, получишь стандартный циферблат, но с разными цветами. Это происходит из-за того, что LLM'ки склонны выдавать усредненные решения. Они как бы угадывают ""самый вероятный"" ответ, а не пробуют что-то реально нестандартное. Наткнулся на алгоритм, который призван решать вот эту проблему однообразия — Lluminate. Он позволяет при одном и том же промпте получать более разнообразные и неожиданные результаты. Работает это через умный промптинг + анализ новизны с помощью CLIP. Вместо того чтобы просто выдать один раз генерацию, алгоритм: 1)Запускает кучу вариантов, чтобы посмотреть, насколько они реально разные. 2)CLIP оценивает их отличие в семантическом пространстве (если вариации слишком похожи, они отсеиваются). 3)Берутся самые необычные и на их основе генерятся новые поколения, каждый раз с усложнением и добавлением неочевидных штук. 4)Через несколько итераций результат уже в разы интереснее, в сравнении с тем, что было бы если б нейронку задрачивали одним и тем же запросом (даже если его слегка изменять). Так можно не просто крутить рандом, а эволюционировать генерацию, пока результат реально не начнет удивлять. Уже тестили на шейдерах, архитектуре и генерации часов — вместо ""неоновых спиралек"" и ""футуристических башен"" в конце получаются реально уникальные и неожиданные штуки, которые LLM сам бы не придумал. Вот тут можно посмотреть насколько улучшается разнообразие (лучше смотреть с компа, с телефона сайт как-то всрато выглядит). Ну и там же подробнее расписано про этот алгоритм. Исходники тут"
"Те, кто часто юзает нейронки для креативных задач, наверняка замечали, что при…
Из этого канала
- #6182Вот эта новая фича от гуглогемини, которая может генерить и изменять картинки…
Вот эта новая фича от гуглогемини, которая может генерить и изменять картинки без вызова отдельной модели позволяет делать классные последовательные гифки за…
- #6184CEO Поиска Яндекса Дима Масюк расписал в LinkedIn принципы, на которых компания…
CEO Поиска Яндекса Дима Масюк расписал в LinkedIn принципы, на которых компания строит развитие сервисов с искусственным интеллектом.
- #6185"Китайцы упоролись и запилили ""ноут"" с десктопной 5090 😂"
"Китайцы упоролись и запилили ""ноут"" с десктопной 5090 😂"
- #6180"Недавно Егор запилил у себя в канале вот эту паподию на рекламу Порше, но под…
"Недавно Егор запилил у себя в канале вот эту паподию на рекламу Порше, но под местные реалии. Получилось очень реалистично.
- #6179Несколько раз уже попадался этот видос с запиливанием статуи роботом на…
Несколько раз уже попадался этот видос с запиливанием статуи роботом на реддите. Сейчас он же попался в твитторе.