ClickOps Мне тут пришло в голову покопаться в сервисах AWS и поделать какие-нибудь лабы. На ютубе довольно много видосов от индусов (и не только) на эту тему, я в итоге решила посмотреть вот этот 4х-часовой туториал с пет-проектом 🎙 Там парень очень понятно рассказывает про теорию и сервисы, показывает, как что делать. К акценту надо привыкнуть, но вроде норм) Говорит он супер быстро, как будто на x1.5 смотришь. Одна из фраз, которая красной линией проходит по видосу: Сейчас никто не пишет код сам. Если вы хотите что-то реализовать или столкнулись с проблемой — идите к ChatGPT Еще сайтец у него есть полезный, там очень много инфы собрано 💻 В чем суть проекта? Взять данные из файлов и API, залить в S3, переложить по слоям, добавить dq, настроить алерты, собрать витрину и поставить на расписание. Используя тех стек AWS: S3, Glue, Lambda, Athena, Step Functions, CloudWatch, SNS Вся эта история поместилась в 5 питонячих файлов и 4 джейсонины. Поэтому проект натолкнул меня на несколько логичных мыслей, но над которыми я не задумывалась: 1️⃣Девопсы вообще не нужны — все и так настроено и работает 2️⃣Платформенные решения, фреймворки для витрин тоже не нужны — достаточно написать одну Glue-джобку и запускать ее с разными конфигами 3️⃣Основная работа DE — нажимать на кнопочки и заполнять формочки Создать таблицу? 4 клика Загрузить csv в таблицу? 6 кликов Добавить поле? Перетащить прямоугольничек Партицировать таблицу? Выбрать колонку из списка Выделить инкремент для загрузки? Включить опцию Оно примерно так и есть, или я пока что-то упускаю? @data_engineerette
ClickOps Мне тут пришло в голову покопаться в сервисах AWS и поделать…
Из этого канала
- #589Когда никто не понимает, как делать задачу😂
Когда никто не понимает, как делать задачу😂
- #588Clickhouse для программистов, аналитиков и инженеров данных Перестаньте ждать,…
Clickhouse для программистов, аналитиков и инженеров данных Перестаньте ждать, пока считается аналитика.
- #587Случайно замедлили все загрузки Небольшая история о том, как можно ухудшить…
Случайно замедлили все загрузки Небольшая история о том, как можно ухудшить состояние кластера, не добавив и строчки кода😁 Предыстория У нас в airflow есть…