Я провел следующую часть воркшопа про Data Ingestion Patterns | Part 2- в нем добавил другой метод создания AWS Lambda, рассмотрели AWS Batch, AWS ECR (container registry) и AWS ECS (Container Service). Как обычно использовали Claude Code и Infra as a Code с AWS Cloud Formation. Много рассуждение про использование этих решений на реальных проектах. Концепт очень простой - у нас есть Python файл, который скачивает данные по GitHub API и мы его переиспользуем разными методами. План рассмотреть все возможности AWS для batch и streaming и потом повторить для Azure и GCP. Первая часть - Data Ingestions Patterns | Part 1 - я начал серию видео для System Design DE по подходу от простому к сложному, где мы загружаем данные из API в базу 10ью разными способами. Пока только 1/7 покрыл, потратил много времени на разговоры про security, infra as a code, evn variables и как сразу делать правильно. Сразу гонял Cursor Agent и Claude и видно насколько Cursor тупее Claude, зато дешевле.
Я провел следующую часть воркшопа про Data Ingestion Patterns | Part 2- в нем…
Из этого канала
- #5870"Аналитика, DWH и OLAP-нагрузки растут, и базы начинают упираться в дисковую…
"Аналитика, DWH и OLAP-нагрузки растут, и базы начинают упираться в дисковую подсистему… Для таких задач Selectel добавили новую конфигурацию Mega в базы…
- #5871Лучший способ экономить на токенах. Да еще можно людям помочь карьеру устроить.…
Лучший способ экономить на токенах. Да еще можно людям помочь карьеру устроить. Объединяйтесь против машин и берите на работу junior!
- #5872Как понять, что в компании, где вы работаете проблема? Достаточно просто: •…
Как понять, что в компании, где вы работаете проблема? Достаточно просто: • Начинают отслеживать вашу активность, сколько часов вы онлайн, сколько митингов…
- #5868Исследование про облачную инфраструктуру в работе с данными Apple Hills Digital…
Исследование про облачную инфраструктуру в работе с данными Apple Hills Digital проводит опрос среди data engineers, аналитиков и специалистов, работающих с…
- #586723 апреля в Санкт-Петербурге пройдет вечерний митап для аналитиков — Analytics…
23 апреля в Санкт-Петербурге пройдет вечерний митап для аналитиков — Analytics Party.