Kwai (Kuaishou), разработчик генеративной видеомодели Kling AI, перенесла общекорпоративный пайплайн расчёта метрик A/B-экспериментов со Spark на Apache Doris. Переработка системы ускорила расчёт метрик до 145 раз и снизила потребление ресурсов на 72% на кластере из 2000 узлов и 100 000 вычислительных единиц (CU). Подробный разбор на Хабре, ссылка в комментариях. Мы уже дважды писали о внедрении Apache Doris в Kwai, и оба раза речь шла о слое обслуживания запросов в реальном времени (real-time serving) для рекламных нагрузок: сначала о замене ClickHouse на единый lakehouse, обслуживающий почти миллиард запросов в день, затем о замене Elasticsearch. На этот раз речь о другой команде и другой нагрузке: пакетные вычисления по расписанию. https://habr.com/ru/articles/1085270/
Kwai (Kuaishou), разработчик генеративной видеомодели Kling AI, перенесла…
180 viewsОткрыть в Telegram →
Из этого канала
- #1015Протестировал модель нового типа Jev на задаче реранкинга для классификации…
Протестировал модель нового типа Jev на задаче реранкинга для классификации госзакупок по справочнику ОКТРУ.
- #101480% рынка автозапчастей уже внутри redflags.ai Теперь - ещё ближе к реальной…
80% рынка автозапчастей уже внутри redflags.ai Теперь - ещё ближе к реальной закупке Мы запустили новую возможность: прямо в результатах анализа рынка отдел…
- #1012У нас в Казахстане стал появляться спрос на GEO-оптимизацию. Налетай -…
У нас в Казахстане стал появляться спрос на GEO-оптимизацию. Налетай - https://mp.kz/tender/267317