DataEng@dataeng
Data Engineering & Distributed Systems Contact @adilkhash
Последние посты (59)
- #68614 мая 2026 г.566 views
Приглашаем вас на совместный вебинар AXENIX и вендора BR Systems, посвященный…
Приглашаем вас на совместный вебинар AXENIX и вендора BR Systems, посвященный XLTable — OLAP‑системе с широким функционалом для работы с данными ClickHouse и Trino и поддержкой протокола XMLA в Excel.
- #68530 апр. 2026 г.687 views
PostgreSQL 16: Оптимизация запросов 🖥 Вчера случайно заметил, что на Postgres…
PostgreSQL 16: Оптимизация запросов 🖥 Вчера случайно заметил, что на Postgres Pro появилась новая книга PostgreSQL 16: Оптимизация запросов. Книга основана на курсе лекций про оптимизацию, который, к слову, также доступен бесплатно.
- #68429 апр. 2026 г.723 views
Эффективно управлять сложностью можно через абстракции. Например, через…
Эффективно управлять сложностью можно через абстракции. Например, через практики внедрения дизайн-паттернов, DDD, выбор более высокоуровневых технологий. Расширяемость Требования к работе приложений меняются, а значит и оно само должно меняться.
- #68329 апр. 2026 г.555 views
Отказоустойчивость железа достигается через добавление избыточных компонентов,…
Отказоустойчивость железа достигается через добавление избыточных компонентов, например, в системе может быть несколько жестких дисков, подключенных в режиме RAID-массива.
- #68229 апр. 2026 г.589 views
Designing Data-Intensive Applications Глава 2. Defining Nonfunctional…
Designing Data-Intensive Applications Глава 2. Defining Nonfunctional Requirements Вторая глава книги посвящена нефункциональным требованиям к разрабатываемым нами системам.
- #68122 апр. 2026 г.1 029 views
Ребят, всем привет! Я не забыл про книгу, скоро будет конспект по второй главе…
Ребят, всем привет! Я не забыл про книгу, скоро будет конспект по второй главе (был перерыв). А пока я пишу конспект, то предлагаю вам насладиться подкастом с автором книги Designing Data-Intensive Applications Martin Kleppmann у Gergely Orosz — Designing Data-intensive…
- #6796 мар. 2026 г.2 041 views
Mastering PostgreSQL Supabase и Manning Publications выпустили бесплатную книгу…
Mastering PostgreSQL Supabase и Manning Publications выпустили бесплатную книгу про PostgreSQL. 107 страниц концентрированной информации про самые популярные темы этой замечательной базы данных.
- #6785 мар. 2026 г.1 531 views
Cloud vs Self-Hosted Вечная дилемма что выбрать: использовать облачные сервисы…
Cloud vs Self-Hosted Вечная дилемма что выбрать: использовать облачные сервисы или всё развернуть на своих серверах. Это снова вопрос компромиссов. У каждого подхода есть свои плюсы и минусы. Можно комбинировать два подхода и не уходить в крайности.
- #6775 мар. 2026 г.1 187 views
Данные и законодательство С развитием GDPR, CCPA, ,EU AI Act и прочих…
Данные и законодательство С развитием GDPR, CCPA, ,EU AI Act и прочих законодательных норм и правил по персональным данным появилась необходимость учитывать риск хранения и обработки этих данных.
- #6763 мар. 2026 г.1 698 views
Аналитические базы выступают в роли общего хранилища, куда стекаются данные из…
Аналитические базы выступают в роли общего хранилища, куда стекаются данные из различных подсистем. Это могут быть OLTP базы, а также внешние сервисы (данные из которых можно тянуть по API, например).
- #6753 мар. 2026 г.1 536 views
Designing Data-Intensive Applications Глава 1. Trade-Offs in Data Systems…
Designing Data-Intensive Applications Глава 1. Trade-Offs in Data Systems Architecture Введение Первая глава книги получилась объёмной как по количеству страниц так и по количеству информации.
- #67423 февр. 2026 г.1 903 views
"Второе издание ""кабанчика"" На днях увидел в сети анонс, что вышло новое…
"Второе издание ""кабанчика"" На днях увидел в сети анонс, что вышло новое издание легендарной книги Designing Data-Intensive Applications. Впервые я познакомился с этой книгой где-то весной или летом 2018 года.
- #67317 февр. 2026 г.2 309 views
🔥 Девушка без навыков разработки запустила AI-бота и вышла на первые продажи за…
🔥 Девушка без навыков разработки запустила AI-бота и вышла на первые продажи за месяц Аня из комьюнити @itscapitan заметила: люди учат английский годами, но говорить не могут.
- #6724 февр. 2026 г.3 030 views
Data Pipelines with Apache Airflow, 2-е издание Ребята из Astronomer совершенно…
Data Pipelines with Apache Airflow, 2-е издание Ребята из Astronomer совершенно бесплатно раздают электронную книгу Data Pipelines with Apache Airflow®, Second Edition, by Manning.
- #67130 янв. 2026 г.3 550 views
📣 📢 13 ИИ агентов для дата инженера Ребята из Astronomer выложили 13 полезных…
📣 📢 13 ИИ агентов для дата инженера Ребята из Astronomer выложили 13 полезных ИИ агентов для дата инженера. В списке есть имба-агент, помогающий мигрировать Airflow 2 на Airflow 3 — migrating-airflow-2-to-3 Преимущественно агенты сконцентрированы вокруг написания и тестирования…
- #67022 янв. 2026 г.3 170 views
pandas 3.0 Вышла мажорная версия самой, пожалуй, популярной библиотеки для…
pandas 3.0 Вышла мажорная версия самой, пожалуй, популярной библиотеки для работы с данными в Python - pandas 3.0. В новом релизе появилось два значительных изменения: новый dtype для строк `str` вместо привычного numpy `object`.
- #66920 янв. 2026 г.4 206 views
fastjsondiff - High-performance JSON comparison with a Zig-powered core Написал…
fastjsondiff - High-performance JSON comparison with a Zig-powered core Написал небольшую библиотеку для сравнения двух JSON-текстов/файлов. В Python есть популярная либа jsondiff, но её основная проблема это сильные тормоза, если на вход подать более менее крупный JSON-текст.
- #66814 янв. 2026 г.2 770 views
Zen Habits Встречайте, ещё один побочный продукт моего вайб-кодинга — Zen…
Zen Habits Встречайте, ещё один побочный продукт моего вайб-кодинга — Zen Habits. Веб-приложение с нативной интеграцией с Telegram. Авторизуйтесь через телеграм, создавайте привычки и получайте о них нотификации прямо от телеграм-бота. В этом же боте выполняйте их.
- #6679 янв. 2026 г.3 417 views
The Definitive Guide to Apache Airflow® 3 DAGs 146 страниц отборного мяса и…
The Definitive Guide to Apache Airflow® 3 DAGs 146 страниц отборного мяса и лучших практик про написание DAGов для Apache Airflow 3.
- #66615 дек. 2025 г.4 332 views
Обновленный мини-курс по Apache Kafka от небезызвестного Тима Бёргланда: Apache…
Обновленный мини-курс по Apache Kafka от небезызвестного Тима Бёргланда: Apache Kafka 101 (2025 Edition)
- #66517 нояб. 2025 г.4 689 views
Orchestrate LLMs and Agents with Apache Airflow® Новая книга от Astronomer про…
Orchestrate LLMs and Agents with Apache Airflow® Новая книга от Astronomer про управление агентами через airflow-ai-sdk и Human In The Loop, который появился в Airflow 3.
- #66416 нояб. 2025 г.3 870 views
Доклады с Airflow Summit 2025 Подъехали доклады с прошедшей не так давно…
Доклады с Airflow Summit 2025 Подъехали доклады с прошедшей не так давно конференции Airflow Summit 2025, много вкусного, будет что посмотреть по вечерам: — Airflow at OpenAI — Benchmarking the Performance of Dynamically Generated DAGs — Airflow That Remembers: The Dag…
- #6637 нояб. 2025 г.4 278 views
Очередной подгон от Astronomer про лучшие практики построения ETL/ELT…
Очередной подгон от Astronomer про лучшие практики построения ETL/ELT пайплайнов на базе Apache Airflow 3 — Best practices for ETL and ELT pipelines with Apache Airflow 3 Небольшая электронная книга на 50 страниц, удобно использовать как справочник.
- #6626 нояб. 2025 г.3 217 views
XLTable - OLAP Cервер для нового стека данных Работайте с ClickHouse, BigQuery,…
XLTable - OLAP Cервер для нового стека данных Работайте с ClickHouse, BigQuery, Snowflake из сводной таблицы Excel. Предоставьте пользователям возможность самостоятельно работать с данными, с помощью знакомого инструмента.
- #66127 окт. 2025 г.2 695 views
Apache Airflow 3.1.1 Вышел новый релиз Apache Airflow 3.1.1 очередным паком…
Apache Airflow 3.1.1 Вышел новый релиз Apache Airflow 3.1.1 очередным паком багфиксов — Airflow 3.1.1 (2025-10-27). Пофиксали очередную утечку памяти с remote logging connection cache. Что-то 3-я версия Эйрфлоу богата на ошибки с утечками памяти. Бегу обновлять свой инстанс.
- #66027 окт. 2025 г.2 775 views
Построение пайплайнов dlt в Apache Airflow dlt это python библиотека для…
Построение пайплайнов dlt в Apache Airflow dlt это python библиотека для загрузки данных из разных источников. Она из коробки поддерживает работу с REST API, SQL, облачными хранилища и т.д.
- #65923 окт. 2025 г.3 232 views
Ребята из Qdrant запустили бесплатный семидневный курс про свою векторную базу…
Ребята из Qdrant запустили бесплатный семидневный курс про свою векторную базу данных: Qdrant Essentials Меня в последнее время интересует тема векторного поиска и векторных БД, и Qdrant как раз неплохой кандидат на изучение и реализацию какого-нибудь проекта (спойлер: домашнего…
- #65820 окт. 2025 г.4 360 views
The Annual Airflow Survey Если вы пользуетесь Apache Airflow, то давайте…
The Annual Airflow Survey Если вы пользуетесь Apache Airflow, то давайте поможем сообществу собрать больше информации об использовании Airflow.
- #65717 окт. 2025 г.2 894 views
Airflow AI SDK Нашел интересный реп от Astronomer с набором тасков для работы с…
Airflow AI SDK Нашел интересный реп от Astronomer с набором тасков для работы с большими языковыми моделями — airflow-ai-sdk. Пакет предлагает набор декораторов: — LLM tasks with @task.llm: Define tasks that call language models to process text — Agent tasks with @task.agent:…
- #65616 окт. 2025 г.2 438 views
"MCP сервер для Apache Airflow Нашел репозиторий с готовым MCP сервером для…
"MCP сервер для Apache Airflow Нашел репозиторий с готовым MCP сервером для Apache Airflow — mcp-server-apache-airflow MCP или Model Context Protocol - это протокол, позволяющий большим языковым моделям взаимодействовать со сторонними сервисами, дергая их за ""ручки"".
- #65515 окт. 2025 г.2 786 views
Jetbrains DataGrip бесплатно для некоммерческих целей Теперь JetBrains DataGrip…
Jetbrains DataGrip бесплатно для некоммерческих целей Теперь JetBrains DataGrip можно использовать бесплатно в некоммерческих целях. Я уже давно пользуюсь продуктами JetBrains, мой фаворит безусловно PyCharm.
- #65414 окт. 2025 г.3 851 views
Data Engineering Design Patterns 🔥 В сети бесплатно раздают электронную копию…
Data Engineering Design Patterns 🔥 В сети бесплатно раздают электронную копию книги Data Engineering Design Patterns. Я её ещё не читал. На книжных сайтах у неё неплохой рейтинг. Если вдруг искали что почитать по теме, то думаю стоит приглядеться.
- #65313 окт. 2025 г.3 381 views
"Как я чищу метаданные Apache Airflow 3.x В блоге Apache Airflow есть скрипт…
"Как я чищу метаданные Apache Airflow 3.x В блоге Apache Airflow есть скрипт для периодической чистки метаданных в БД Apache Airflow. Но начиная с Airflow 3.0 невозможно обращаться к БД напрямую (через модели SQLAlchemy), в связи с этим скрипт не работает.
- #65213 окт. 2025 г.2 008 views
Apache Airflow 3 в Amazon Cloud На Amazon стала доступна 3-я версия Apache…
Apache Airflow 3 в Amazon Cloud На Amazon стала доступна 3-я версия Apache Airflow: Introducing Apache Airflow 3 on Amazon MWAA: New features and capabilities Но я бы пока не спешил бежать и обновляться, т.к.
- #65110 окт. 2025 г.2 611 views
Очередной подгон в виде бесплатной книги от Astronomer — Orchestrating dbt with…
Очередной подгон в виде бесплатной книги от Astronomer — Orchestrating dbt with Apache Airflow® using Cosmos 🚀 Неплохой вводный гайд по оркестрации dbt пайплайнов через Apache Airflow и пакет astronomer-cosmos.
- #6509 окт. 2025 г.2 824 views
"Последние года 4 я использовал Apache Airflow исключительно в облаке,…
"Последние года 4 я использовал Apache Airflow исключительно в облаке, преимущественно в Amazon — Amazon Managed Apache Airflow. И как обычно бывает, в облаках всё так или иначе между собой связано.
- #6498 окт. 2025 г.1 729 views
Python 3.14 уже здесь! Пару часов назад вышел финальный релиз новой версии…
Python 3.14 уже здесь! Пару часов назад вышел финальный релиз новой версии Python 3.14. Это, пожалуй, один из самых мощных релизов на моей памяти.
- #6487 окт. 2025 г.2 165 views
Что происходит в LLM. Октябрь 2025 Несмотря на то, что LLM — главный хайп…
Что происходит в LLM. Октябрь 2025 Несмотря на то, что LLM — главный хайп последних 2 лет, вокруг больших моделей остаётся много путаницы и заблуждений.
- #64726 сент. 2025 г.2 722 views
Релиз Apache Airflow 3.1 Вышла новая версия Apache Airflow 3.1, в ней куча…
Релиз Apache Airflow 3.1 Вышла новая версия Apache Airflow 3.1, в ней куча изменений и новых фич, бессмысленно пересказывать — бегите читать пост в блоге: https://airflow.apache.org/blog/airflow-3.1.0/
- #64628 авг. 2025 г.5 748 views
На Ютуб-канале CultRepo вышел большой документальный фильм про наш любимый язык…
На Ютуб-канале CultRepo вышел большой документальный фильм про наш любимый язык программирования — Python. Python: The Documentary | An origin story Сам ещё не смотрел, но уже в предвкушении!
- #64414 авг. 2025 г.5 603 views
Продвинутый SQL и PostgresSQL Зашел на сайт Postgres Pro и был приятно удивлён…
Продвинутый SQL и PostgresSQL Зашел на сайт Postgres Pro и был приятно удивлён выходом их новой книги — PostgreSQL. Профессиональный SQL, автор Евгений Моргунов. Книга доступна на сайте в электронном виде бесплатно (как и остальные). PostgreSQL.
- #64328 июл. 2025 г.3 904 views
"Ух, давненько я не писал в блог. Почти 2 года и ни одного поста за это время.…
"Ух, давненько я не писал в блог. Почти 2 года и ни одного поста за это время. Исправляюсь, держите: https://khashtamov.com/ru/django-orm-and-simplelazyobject/ Недавно столкнулся с задачей, где мне захотелось использовать ""ленивые"" вычисления и Django ORM.
- #64115 июл. 2025 г.4 243 views
Apache Airflow 3.0.3 Вышла минорная версия Apache Airflow — 3.0.3, в этой…
Apache Airflow 3.0.3 Вышла минорная версия Apache Airflow — 3.0.3, в этой версии пофиксили множество багов: https://github.com/apache/airflow/releases/tag/3.0.3 Я уже поставил, полёт нормальный.
- #63912 июн. 2025 г.4 420 views
Ранее я писал про релиз Airflow 3.0.2 в котором исправили утечку памяти, но на…
Ранее я писал про релиз Airflow 3.0.2 в котором исправили утечку памяти, но на деле оказалось, что не полностью. Проблема была решена лишь частично, мои пайплайны продолжали периодически падать и съедать память.
- #63812 июн. 2025 г.3 647 views
Orchestrating Workflows for GenAI Applications На платформе DeepLearning AI…
Orchestrating Workflows for GenAI Applications На платформе DeepLearning AI вышел новый курс про Apache Airflow от ребят из Astronomer — Orchestrating Workflows for GenAI Applications Курс прикладной без лишней воды, рассчитан на тех, кто не знаком с Airflow.
- #63710 июн. 2025 г.3 220 views
Apache Airflow 3.0.2 Буквально час назад вышла новая багфикс версия Apache…
Apache Airflow 3.0.2 Буквально час назад вышла новая багфикс версия Apache Airflow 3.0.2. Я с недавнего времени начал использовать тройку на своих проектах и столкнулся с неприятным сюрпризом - утечкой памяти.
- #63521 мая 2025 г.6 064 views
Доклады с PyCon US 2025 🐍🐍🐍 Когда я был на PyCon US в 2016 году в Портленде, то…
Доклады с PyCon US 2025 🐍🐍🐍 Когда я был на PyCon US в 2016 году в Портленде, то записи докладов в сети появлялись в тот же день, но последние года 4 организаторы решили на этом зарабатывать, и записи с конференций появляются со значительной задержкой (несколько месяцев и…
- #63420 мая 2025 г.3 068 views
Релиз Apache Airflow 2.11.0 Я уже не думал, что будут обновления для 2-й ветки…
Релиз Apache Airflow 2.11.0 Я уже не думал, что будут обновления для 2-й ветки Airflow, а тут релиз 2.11.0: https://github.com/apache/airflow/releases/tag/2.11.0 Причем это не какой-то релиз с багфиксами, там есть новые фишки: — DeltaTriggerTimetable (trigger-based scheduling) —…
- #63330 апр. 2025 г.6 659 views
The Practical Guide to Airflow 3 🚀 Дорогие друзья, я вижу как вам нравятся…
The Practical Guide to Airflow 3 🚀 Дорогие друзья, я вижу как вам нравятся посты про Apache Airflow. В этот раз очередной пост про него любимого 😊 Прошла неделя с релиза Apache Airflow 3, и вот в сети от ребят из Astronomer выходит небольшая книга The Practical Guide to Airflow…
- #63222 апр. 2025 г.5 559 views
Релиз Airflow 3.0 Час назад вышла мажорная версия Apache Airflow 3.0:…
Релиз Airflow 3.0 Час назад вышла мажорная версия Apache Airflow 3.0: https://github.com/apache/airflow/releases/tag/3.0.0 Помимо полностью обновлённого интерфейса там ещё куча разных ништяков: — DAG Versioning (в сообществе долго ждали эту фичу, но мне она не особо нужна) —…
- #6319 апр. 2025 г.4 320 views
Ахтунг! Про Apache Iceberg™ Как то не заметил, что легенда Tim Berglund…
Ахтунг! Про Apache Iceberg™ Как то не заметил, что легенда Tim Berglund вернулся в Confluent, и теперь снова вещает нам с экранов. На этот раз Тим разбирает Apache Iceberg: Apache Iceberg™ | What It Is and Why Everyone’s Talking About It А вы уже использовали его у себя?
- #6308 апр. 2025 г.3 776 views
На злобу дня Трамп раскрыл тарифы на производительность популярных библиотек…
На злобу дня Трамп раскрыл тарифы на производительность популярных библиотек для анализа данных 😁 Так вот в чем кроется секрет успеха pandas 🐼
- #6292 апр. 2025 г.4 493 views
Курс AI Agents от Microsoft Нашел на просторах сети бесплатный курс по AI…
Курс AI Agents от Microsoft Нашел на просторах сети бесплатный курс по AI Агентам от Microsoft: https://microsoft.github.io/ai-agents-for-beginners/ Помимо текстового материала есть и видео лекции на Ютубе.
- #6281 апр. 2025 г.3 923 views
Привет! За два месяца ни одного нового поста. Признаться, мне стало неинтересно…
Привет! За два месяца ни одного нового поста. Признаться, мне стало неинтересно делиться ссылками на материал по теме и превращать канал в ссылкопомойку, но тем не менее я продолжаю активно читать и искать новые статьи/видео/лекции по темам: — data engineering — data processing…
- #6277 февр. 2025 г.4 384 views
Прямо в сердце 😄
Прямо в сердце 😄
- #6256 февр. 2025 г.4 334 views
Deep Dive into LLMs like ChatGPT На канале Andrej Karpathy вышло 3-х часовое…
Deep Dive into LLMs like ChatGPT На канале Andrej Karpathy вышло 3-х часовое видео с разбором как работают LLM модели на примере ChatGPT. Более того, чуть больше года назад он уже выпускал часовой ролик Intro to Large Language Models, который уже набрал более 2.5 миллионов…
- #6243 февр. 2025 г.4 792 views
AI Agent Course На следующей неделе (10 февраля) стартует бесплатный курс…
AI Agent Course На следующей неделе (10 февраля) стартует бесплатный курс Hugging Face Agents. Курс рассчитан на обучение в течение 6 недель, новый материал будет публиковаться раз в две недели. Цель курса научить вас создавать и деплоить ИИ Агентов в продакшен.
- #62319 янв. 2025 г.10 132 views
"The Ultimate Guide to Apache Airflow® DAGs E-book от ребят из Astronomer про…
"The Ultimate Guide to Apache Airflow® DAGs E-book от ребят из Astronomer про Apache Airflow. 135 страниц концентрированной информации ""без воды"". Рекомендую! Заходит как справочник в самый раз 👍🏻"
- #62218 янв. 2025 г.4 355 views
Организовали с ребятами подборку ламповых каналов про дата инжиниринг 💡…
Организовали с ребятами подборку ламповых каналов про дата инжиниринг 💡 https://t.me/addlist/a1B07iwrPxUxNWIy Подписывайтесь 😎