Практически каждый проект в инжиниринге данных начинается с package manager (пакетный менеджер), как правило для Python. С одной стороны у всех цель одна, а с другой стороны “кто в лес, кто по дрова”. Мне попались 3 хорошие статьи от Dagster на эту тему (про сам Dagster там нет), в которых хорошо рассказывают как это работает и как сделать удобно и красиво. Python Packages: a Primer for Data People (part 1 of 2) Python Packages: a Primer for Data People (part 2 of 2) Best Practices in Structuring Python Projects Вообще там 11 частей, в каждом посте будут ссылки на все части, например есть и другие полезные: High-performance Python for Data Engineering Write-Audit-Publish in data pipelines Breaking Packages in Python CI/CD and Data Pipeline Automation (with Git) Factory Patterns in Python Type Hinting in Python Environment Variables in Python Если вы еще на “вы” со всеми этими менеджерами, зависимостями или не очень понимаете, что творится у вас на работе в репозитории, то будет полезно ознакомиться.
Практически каждый проект в инжиниринге данных начинается с package manager…
Из этого канала
- #5083Все работает как часы! Если конечно хватает мотивации довести дело до конца,…
Все работает как часы! Если конечно хватает мотивации довести дело до конца, Юрий молодец дожал и нашел работу🚀
- #5084Оказывается, Макс тоже вышел на новую работу, и они вместе с Юрой отписались в…
Оказывается, Макс тоже вышел на новую работу, и они вместе с Юрой отписались в дискорде, с чем я их и поздравляю! Это полностью их заслуга.
- #5086🏆 Авито — лучший работодатель для аналитиков! По данным нового исследования…
🏆 Авито — лучший работодатель для аналитиков! По данным нового исследования NEWHR, Авито занял 1 место среди самых привлекательных компаний для аналитиков! 📊 В…
- #5079Антропик утверждает, что в 2026 появятся модели, которые — превосходят…
Антропик утверждает, что в 2026 появятся модели, которые — превосходят Нобелевских лауреатов в большинстве областей — умеют пользоваться всеми человеческими…
- #5078Мне понравилась картинка, очень хорошо отражает все изменения в стартапах. Для…
Мне понравилась картинка, очень хорошо отражает все изменения в стартапах. Для трендов данные и их интеграция играют очень важную роль.