Вышла интересная и довольно детальная статья Netflix о том, как они интегрируют свой Foundation Model в персонализацию: от главной страницы до разных продуктовых поверхностей. Идея простая, но мощная: вместо зоопарка специализированных рекомендательных моделей сделать один крупный модельный «слой предпочтений» и раздавать его знания вниз в приложения. Авторы честно фокусируются не на хайпе вокруг трансформеров, а на практических паттернах в проде: три способа интеграции (эмбеддинги, сабграф и fine-tuning), их стоимость, влияние на метрики и инфраструктурные последствия. Первый компромисс — три уровня интеграции = три профиля затрат и эффекта. Эмбеддинги из Foundation Model через Embedding Store — самый дешёвый и быстрый путь: просто подмешать новые признаки в уже существующие модели или кандидаты, минимум изменений в пайплайне, но и эффект ограничен свежестью и глубиной сигналов. Сабграф-интеграция, когда FM встраивается как часть графа приложения, даёт максимально актуальные сигналы и заметный прирост метрик, но резко усложняет обучение, фичеген и инференс. Fine-tuning поверх FM превращается в быстрый «де‑факто» бэйзлайн для новых приложений: не нужно с нуля придумывать архитектуру, достаточно дообучить под свою задачу — зато растёт риск фрагментации зоопарка моделей и техдолга. Второй блок компромиссов — свежесть против стабильности. Netflix переобучает Foundation Model на месячном горизонте и ежедневно дообучает его на свежих данных, генерируя новые эмбеддинги для профилей и тайтлов. Из‑за этого эмбеддинги неизбежно «дрейфуют», поэтому им пришлось внедрять стабилизацию пространства, чтобы downstream‑модели не сходили с ума от прыгающих признаков и могли потреблять эмбеддинги как стабильные features. Чтобы побороть «staleness», платформа двигается в сторону near‑real‑time обновлений эмбеддингов по действиям пользователя в сессии — но это уже требует более лёгких моделей, грамотной оркестрации и внимательного контроля латентности. Дальше всплывает другая проблема — фичеген как узкое место. Для сабграф‑подхода нужно уметь стабильно и эффективно генерировать все входы для FM в рамках приложения, а это дополнительные джобы, вычисления и сложность пайплайна. Команда решает это через переиспользование инфраструктурных задач и оптимизацию compute, а на инференсе выжимает максимум, разделяя сабграф и выполняя его один раз на профиль с кэшированием и шарингом результата на множество айтемов в запросе. Так удаётся держать SLA ранжирования при большом количестве кандидатов и всё ещё пользоваться преимуществами Foundation Model. И, наконец, заметно, как окупается именно платформенный подход. Единый Embedding Store с версионированием и онлайн/оффлайн-доступом, стандартизированные API, дистилляция более лёгких копий модели и общий фреймворк fine-tuning снимают барьеры для продуктовых команд и делают FM обычной частью стека, а не «спецпроектом исследователей». В итоге три паттерна интеграции складываются в понятную матрицу: начинаем с дешёвых эмбеддингов, для high‑impact‑кейсов добавляем сабграф, а для новых приложений и специфичных целей используем fine‑tюненные варианты — осознанно принимая компромиссы по стоимости, сложности и техдолгу. https://netflixtechblog.medium.com/integrating-netflixs-foundation-model-into-personalization-applications-cf176b5860eb
Вышла интересная и довольно детальная статья Netflix о том, как они интегрируют…
Из этого канала
- #2586Anthropic проанализировала 100 тыс. анонимизированных диалогов с Claude и…
Anthropic проанализировала 100 тыс. анонимизированных диалогов с Claude и попыталась ответить на главный вопрос про ИИ: насколько он реально ускоряет работу, а…
- #2587🔥Приём заявок на Data Award 2026 в самом разгаре! 🏆 Хотите, чтобы вашу…
🔥Приём заявок на Data Award 2026 в самом разгаре! 🏆 Хотите, чтобы вашу data‑команду заметили? Участвуйте в Data Award 2026 — престижной премии для data‑driven…
- #2588ИИ-аналитик — это новый слой взаимодействия с данными, который превращает…
ИИ-аналитик — это новый слой взаимодействия с данными, который превращает традиционные отчёты и дашборды в диалог.
- #2584"▫️ Частота галлюцинаций у разных ИИ-моделей На графике - результаты довольно…
"▫️ Частота галлюцинаций у разных ИИ-моделей На графике - результаты довольно интересного эксперимента: исследователи скармливали разным ИИ выдержки из…
- #2583просто интересная картинка о долях крупнейших cloud провайдеров
просто интересная картинка о долях крупнейших cloud провайдеров