ClickOps Мне тут пришло в голову покопаться в сервисах AWS и поделать какие-нибудь лабы. На ютубе довольно много видосов от индусов (и не только) на эту тему, я в итоге решила посмотреть вот этот 4х-часовой туториал с пет-проектом 🎙 Там парень очень понятно рассказывает про теорию и сервисы, показывает, как что делать. К акценту надо привыкнуть, но вроде норм) Говорит он супер быстро, как будто на x1.5 смотришь. Одна из фраз, которая красной линией проходит по видосу: Сейчас никто не пишет код сам. Если вы хотите что-то реализовать или столкнулись с проблемой — идите к ChatGPT Еще сайтец у него есть полезный, там очень много инфы собрано 💻 В чем суть проекта? Взять данные из файлов и API, залить в S3, переложить по слоям, добавить dq, настроить алерты, собрать витрину и поставить на расписание. Используя тех стек AWS: S3, Glue, Lambda, Athena, Step Functions, CloudWatch, SNS Вся эта история поместилась в 5 питонячих файлов и 4 джейсонины. Поэтому проект натолкнул меня на несколько логичных мыслей, но над которыми я не задумывалась: 1️⃣Девопсы вообще не нужны — все и так настроено и работает 2️⃣Платформенные решения, фреймворки для витрин тоже не нужны — достаточно написать одну Glue-джобку и запускать ее с разными конфигами 3️⃣Основная работа DE — нажимать на кнопочки и заполнять формочки Создать таблицу? 4 клика Загрузить csv в таблицу? 6 кликов Добавить поле? Перетащить прямоугольничек Партицировать таблицу? Выбрать колонку из списка Выделить инкремент для загрузки? Включить опцию Оно примерно так и есть, или я пока что-то упускаю? @data_engineerette
ClickOps Мне тут пришло в голову покопаться в сервисах AWS и поделать…
Из этого канала
- #591AI-эра тех собесов 💻 Теперь вместе с sql/python-задачками на тех собесе могут…
AI-эра тех собесов 💻 Теперь вместе с sql/python-задачками на тех собесе могут дать создание мини-проекта за 20 минут Разрешается использовать все, что угодно,…
- #592Кажется, каждую неделю появляется новый пост о том, как ИИ скоро заменит…
Кажется, каждую неделю появляется новый пост о том, как ИИ скоро заменит аналитиков Но если внимательнее посмотреть на ситуацию, становится понятно: происходит…
- #593Hive vs HMS HMS - Hive Metastore Я долгое время вообще не знала про…
Hive vs HMS HMS - Hive Metastore Я долгое время вообще не знала про существование HMS. Для меня HMS и Hive шли неразрывно, и я не отличала одно от другого.
- #589Когда никто не понимает, как делать задачу😂
Когда никто не понимает, как делать задачу😂
- #588Clickhouse для программистов, аналитиков и инженеров данных Перестаньте ждать,…
Clickhouse для программистов, аналитиков и инженеров данных Перестаньте ждать, пока считается аналитика.