Яндекс открыл YTsaurus Flow: 100+ ГБ/с в реальном времени без потерь и дублей Технология обрабатывает клики, показы, лайки и заказы по мере поступления. Обычно их сначала накапливают, и задержка может составлять часы. YTsaurus Flow обрабатывает их по мере поступления и учитывает каждое ровно один раз, даже при сбоях: exactly-once работает по умолчанию. И это уже работает в проде: в Яндекс Рекламе через Flow проходят миллионы событий в секунду. Подготовка данных для дообучения части моделей раньше занимала больше 10 часов, теперь эту задержку почти полностью устранили. Также технология работает в Маркете и антифроде. Подойдёт для подготовки обучающих данных, подсчёта просмотров, кликов и заказов, обновления информации в приложениях. Лицензия Apache 2.0, коммерческое использование разрешено. GitHub - https://github.com/ytsaurus/ytsaurus/tree/main/yt/yt/flow
Яндекс открыл YTsaurus Flow: 100+ ГБ/с в реальном времени без потерь и дублей…
Из этого канала
- #3096Коллеги, обратите внимание на книгу. Редакция не очень понимает идею продавать…
Коллеги, обратите внимание на книгу. Редакция не очень понимает идею продавать только бумажную версию, но наверное и электронная скоро появится, а пока в…
- #3097Коллеги, еще один анонс интересного мероприятия Дубли номенклатуры — это не…
Коллеги, еще один анонс интересного мероприятия Дубли номенклатуры — это не просто проблема справочника. Это проблема качества мастер-данных.
- #3098"OpenAI показал Intelligent UI: ChatGPT теперь отвечает не только текстом, но и…
"OpenAI показал Intelligent UI: ChatGPT теперь отвечает не только текстом, но и интерактивным интерфейсом.
- #3094Кто в ответе за ИИ-агента? CDO годами строили управление данными для людей.…
Кто в ответе за ИИ-агента? CDO годами строили управление данными для людей. Теперь эти данные потребляют ИИ-агенты - и сами принимают на их основе решения.
- #3093Дайджест статей 📰 Lakekeeper и Apache Polaris: сравниваем REST-каталоги для…
Дайджест статей 📰 Lakekeeper и Apache Polaris: сравниваем REST-каталоги для Iceberg 🔗 https://habr.com/ru/articles/1087262/ 💡 Небольшой команде с 1-2 движками…