Пример data stack в компании Clair. Взял у них в Linkedin. Очень стандартный и понятный кейс. Если сравнить с РФ кейсом, то на российском рынке нет 3rd party managed продуктов для ETL, BI, DW. Ну как нет, они-то есть, но всегда возникает вопрос, а где хостить? А где хранить данные? Вроде бы облаком можно отечественным, но вот много всяких НО. Поэтому по опыту общения с коллегами вижу два основных направления: 1) полностью on-premise так, где может быть Hadoop+HDFS+Spark, Greenplum или Clickhouse. Все остальное для слоя хранения редко и не обычно. Есть еще множество старых и надежных решений на SQL Server. Для загрузки данных используют Python и запускают его в Airflow, иди стрим через Kafka. 2) компании по смелей или по меньше уже могут идти в облака и строить там аналитические решения на VK, Ya облаках. Причем у них есть отличная возможность хостить все на Managed Kubernetes, чтобы развернуть Airbyte, Metabase, Trino и тп. Такой кейс будет очень похож на западный, но выбор инструментов будет достаточно скуден и устоявшийся На западе наоборот все, мы сначала выбираем public cloud - AWS, Azure, GCP. Затем выбираем слой хранения (Snowflake, Databricks, Trino, Athena, Synapse, BigQuery) и потом уже решаем как туда загружать данных и как их визуализоровать. Как правило все инструменты отлично поддерживают кейсы для ML, Streaming, Reverse ETL. Еще кардинальная разница будет в DevOps и Data Observability. На западе очень много решений на любой вкус и цвет и все они стандартизированы и работают с любым из публичных облаков. Поэтому в зависимости от ваших карьерных целей, ваш road map может отличаться.
Пример data stack в компании Clair. Взял у них в Linkedin. Очень стандартный и…
Из этого канала
- #5358⚡Гендиректор GitHub Томас Думке уходит, чтобы вернуться к работе над…
⚡Гендиректор GitHub Томас Думке уходит, чтобы вернуться к работе над стартапами. - Microsoft не будет назначать нового CEO и полностью интегрирует GitHub в…
- #5360Для всех кто делает курсы - пример отличного pivot, как залететь в топ и…
Для всех кто делает курсы - пример отличного pivot, как залететь в топ и создавать учебный контент, собирать лайки и просмотры😃
- #5361996 - новая норма для AI стартапов и BigTech. Это значит с 9 утра до 9 вечера 6…
996 - новая норма для AI стартапов и BigTech. Это значит с 9 утра до 9 вечера 6 дней в неделю. Говорят, что в Китайских компаниях это норма.
- #5356MWS Cloud запустила платформу для внедрения и работы ИИ, выйдя на рынок объемом…
MWS Cloud запустила платформу для внедрения и работы ИИ, выйдя на рынок объемом более 15 млрд рублей.
- #5354Тут не только LinkedIn, даже все телеграмм каналы про ИТ👀
Тут не только LinkedIn, даже все телеграмм каналы про ИТ👀