дата инженеретта@data_engineerette
мелкое — крупно, в глубоком разговоре мудрость приходит по вопросам сюда: @aigul_sea
Последние посты (60)
- #65827 окт. 2026 г.673 views
Решила присоединиться к флешмобу и представить свою коллабу Сумерки + DE…
Решила присоединиться к флешмобу и представить свою коллабу Сумерки + DE Получилось вот такая версия с дата инженерскими инструментами и терминами Дополняйте, если есть что изменить или добавить🙂 @dataengineerette
- #65526 окт. 2026 г.438 views
Университетская аудитория, только теперь вопросы другие: не «как сдать…
Университетская аудитория, только теперь вопросы другие: не «как сдать экзамен», а «как не уронить прод». 29 октября в кампусе Центрального университета — митап для тех, кто давно вышел из студенческого чата, но скучает по разговорам о том, как всё устроено на самом деле.
- #65423 окт. 2026 г.577 views
Кто уже использует Iceberg v3? Недавно наткнулась на Apache Iceberg…
Кто уже использует Iceberg v3? Недавно наткнулась на Apache Iceberg Compatibility Matrix. В этой табличке можно посмотреть поддержку фичей в разрезе движков.
- #65322 окт. 2026 г.509 views
📊 Открытый мок-интервью на Data Engineer | 24 октября, 15:00 мск Хочешь…
📊 Открытый мок-интервью на Data Engineer | 24 октября, 15:00 мск Хочешь понять, как проходят технические собеседования на Data Engineer и чего ждут от кандидатов? Приходи на открытый эфир от Shortcut Education Мы – менторская программа для разработчиков.
- #65221 окт. 2026 г.533 views
Не удержалась и решила наложить бит
Не удержалась и решила наложить бит
- #65121 окт. 2026 г.526 views
DE в Twinby😁 Наткнулась на пост от HR, что сейчас открыто несколько вакансий -…
DE в Twinby😁 Наткнулась на пост от HR, что сейчас открыто несколько вакансий - в том числе одна на DE По стеку: CDC, ClickHouse, Airflow А вы когда-нибудь про них задумывались в контексте дата инженерии? Это же реально много фоточек и сообщений, рекомендательная система,…
- #65015 окт. 2026 г.543 views
Anthropic переехали с Git на собственную систему Scion На днях вышла статья,…
Anthropic переехали с Git на собственную систему Scion На днях вышла статья, где Anthropic рассказал про свою новую систему контроля версий и предпосылки ее создания.
- #64914 окт. 2026 г.640 views
СЕНЬОРСКАЯ ВАКАНСИЯ Ищется сеньор-пресеньор в команду платформы данных В двух…
СЕНЬОРСКАЯ ВАКАНСИЯ Ищется сеньор-пресеньор в команду платформы данных В двух словах: уметь в кубер, айсберг, разработку, оптимизацию спарка, иметь архитектурную насмотренность Описание ваки тут Отправлять резюме можно сюда: @aigulsea
- #64812 окт. 2026 г.1 113 views
Ну, как вы там? Нашли новые вопросы для собесов на DevOps/SRE: Есть ли у вас…
Ну, как вы там? Нашли новые вопросы для собесов на DevOps/SRE: Есть ли у вас опыт тушения продакшена в буквальном смысле? Умеете ли вы дебажить инфраструктуру по спутниковым снимкам? Как вы понимаете термин hot standby, если резервный ЦОД всё ещё горит? Какой Prometheus alert вы…
- #64712 окт. 2026 г.682 views
Clickhouse для программистов, аналитиков и инженеров данных Перестаньте ждать,…
Clickhouse для программистов, аналитиков и инженеров данных Перестаньте ждать, пока считается аналитика. Научитесь использовать ClickHouse — СУБД, которая превращает минутные аналитические запросы в ответы за доли секунды. С первого дня — доступ к инфраструктуре для практики.
- #63910 окт. 2026 г.250 views
Сходила на ТехноДень Это бесплатная конфа от Selectel, прошла в кластере…
Сходила на ТехноДень Это бесплатная конфа от Selectel, прошла в кластере «Ломоносов». Народу было прям много - полный зал «Молекула» + полный зал «Атом» + люди возле стендов Я пошла, потому что мне понравился пул докладов.
- #6378 окт. 2026 г.544 views
Ломаем Iceberg-таблицу🫠 Представьте, у вас есть айсберг таблица из 3 полей,…
Ломаем Iceberg-таблицу🫠 Представьте, у вас есть айсберг таблица из 3 полей, которая управляется HMS. Вы удаляете из середины 2е поле, но вдруг появляется ошибка: The following columns have types incompatible with the existing columns in their respective positions Несовместимые…
- #6367 окт. 2026 г.745 views
А если я аналитик, но в DE пока вообще ничего не понимаю? 😳 После прошлого…
А если я аналитик, но в DE пока вообще ничего не понимаю? 😳 После прошлого поста про переход из аналитики в дата-инженерию я поймала себя на мысли, что главный вопрос здесь, кажется, даже не «надо ли мне в DE?». В целом все понимают перспективность перехода в дата-инженерию.
- #6352 окт. 2026 г.461 views
Lance Недавно ковырялась в инструменте для обслуживания таблиц Apache Amoro и…
Lance Недавно ковырялась в инструменте для обслуживания таблиц Apache Amoro и наткнулась на новый для меня термин - формат данных Lance Lance - это колоночный формат хранения данных, созданный для AI/ML задач в лейкхаусе ⏰ Он появился еще в 2022 году, а первая стабильная версия…
- #63430 сент. 2026 г.349 views
5 октября начнется 19-й поток программы Data Engineer от Newprolab Программа…
5 октября начнется 19-й поток программы Data Engineer от Newprolab Программа для junior- и middle-дата-инженеров, аналитиков, backend-разработчиков, техлидов и тех, кто работает с data-командами и хочет лучше понимать современный стек DE 📌 Что внутри: – 10 недель обучения – 30…
- #62925 сент. 2026 г.544 views
"Как прошла SmartData 2026? Я вот перечитываю свои впечатления от прошлого года…
"Как прошла SmartData 2026? Я вот перечитываю свои впечатления от прошлого года и понимаю, что в этом году было совсем не так🥲 Вижу, что писала про Текущее состояние рынка даты Presto/Trino + K8s + S3, Iceberg, StarRocks, Polars - движется сюда А в этом году не было ни одного…
- #62424 сент. 2026 г.739 views
Исследование data-people Тут ребята из DevCrowd запустили ежегодное…
Исследование data-people Тут ребята из DevCrowd запустили ежегодное исследование специалистов по работе с данными и попросили поделиться, чтобы охватить больше крутых спецов😎😎 Отчеты у них получаются очень красивошные💅 Вот здесь можете глянуть за прошлый год:…
- #62322 сент. 2026 г.475 views
5 октября начнется 19-й поток программы Data Engineer от Newprolab Программа…
5 октября начнется 19-й поток программы Data Engineer от Newprolab Программа для junior- и middle-дата-инженеров, аналитиков, backend-разработчиков, техлидов и тех, кто работает с data-командами и хочет лучше понимать современный стек DE 📌 Что внутри: – 10 недель обучения – 30…
- #62215 сент. 2026 г.663 views
Каким должен быть хороший DE? Меня однажды спросили на собесе: 🤩Какие 3…
Каким должен быть хороший DE? Меня однажды спросили на собесе: 🤩Какие 3 качества важны для де? В том числе: 🤩абстрактные качества, которые помогают в работе 🤩собственные качества, сильные стороны 🤩качества кандидата при собеседовании к вам в команду Тогда я сильно замялась,…
- #62113 сент. 2026 г.547 views
Из аналитика в дата-инженеры: а оно мне вообще надо? 🤔 Я в последнее время все…
Из аналитика в дата-инженеры: а оно мне вообще надо? 🤔 Я в последнее время все чаще замечаю, что дата-инженерия для аналитиков выглядит одновременно привлекательно и немного страшно.
- #62012 сент. 2026 г.457 views
Mermaid-диаграммы Наконец-то дошли руки поковыряться в mermaid-диаграммах, это…
Mermaid-диаграммы Наконец-то дошли руки поковыряться в mermaid-диаграммах, это что за имба вообще🔥🔥По сути это своего рода DaaS - Diagram as a Code, вы описываете диаграмму в нужном синтаксисе, потом она отрисовывается Я полистала, что mermaid умеет вообще рисовать - там из…
- #61910 сент. 2026 г.573 views
26 сентября иду на Data Driven от Яндекса — конференции в этом году исполняется…
26 сентября иду на Data Driven от Яндекса — конференции в этом году исполняется 10 лет, и это чувствуется по размаху программы. Тема — AI-first-аналитика: как AI меняет саму профессию, а не просто добавляет ещё один инструмент в стек.
- #6182 сент. 2026 г.569 views
Iceberg — это внезапный бум или планомерная подготовка? Заметили, как с…
Iceberg — это внезапный бум или планомерная подготовка? Заметили, как с определенного момента стало много айсберга в DE? Хотя я сейчас зашла чекнуть вакансии на hh, и iceberg упоминается в 68 из 455 дата инженерских вакансий - что около 15%.
- #61725 авг. 2026 г.552 views
Как забытый ON CLUSTER поставил меня в тупик Я создала таблицу…
Как забытый ON CLUSTER поставил меня в тупик Я создала таблицу ReplicatedReplacingMergeTree, потом переделала на обычный ReplicatedMergeTree. Дропнула таблицы, но тупо забыла ON CLUSTER, и вот что из этого вышло 🫤 Запускаю загрузку, она падает, я чищу табличку и гружу заново.
- #61620 авг. 2026 г.735 views
"В начале лета я рассказывала, как начала проходить курс по алгосам, сейчас…
"В начале лета я рассказывала, как начала проходить курс по алгосам, сейчас делюсь с вами промежуточными впечатлениями🙂 👩💻 Первый месяц я активно садилась за задачи раз или два в неделю - этого было вполне достаточно.
- #61518 авг. 2026 г.709 views
Походу салон нанял себе дата аналитика🤭 Или можно подключить аналитику у самого…
Походу салон нанял себе дата аналитика🤭 Или можно подключить аналитику у самого сервиса по записи? В любом случае я теперь переживаю, что, если не запишусь сейчас, кому-то на дейли придется объяснять просадку retention rate😕 @dataengineerette
- #61415 авг. 2026 г.675 views
Как разогнать Lakehouse-ный S3 в 3 раза? 18 августа VK Tech проводит митап про…
Как разогнать Lakehouse-ный S3 в 3 раза? 18 августа VK Tech проводит митап про платформы данных. И там будет интересный кейс Авито про ситуацию, когда производительность дата-платформы упирается не в движок, а в S3 🙂 Их аналитическая платформа работает на Trino и Vertica поверх…
- #61312 авг. 2026 г.714 views
Анти чек-лист работы в DE По ходу жизни собрала список того, что мне не очень…
Анти чек-лист работы в DE По ходу жизни собрала список того, что мне не очень нравится в работе. И вот что в него вошло: 1️⃣Канбан У вас нет пула задач на ближайшее время. К вам могут приходить аналитики и менеджеры с адхоками, которым нужны отчеты еще вчера.
- #61210 авг. 2026 г.586 views
Lakehouse для аналитиков и инженеров данных Приглашаем изучить популярный…
Lakehouse для аналитиков и инженеров данных Приглашаем изучить популярный подход построения хранилищ данных Data Lakehouse c разделенным Compute и Storage на основе Iceberg и Trino.
- #6116 авг. 2026 г.744 views
Ребят, а тут есть такие, кто идет на дата конфу в Лондоне?…
Ребят, а тут есть такие, кто идет на дата конфу в Лондоне? https://www.bigdataldn.com Она бесплатная, нужно просто прилететь🙂 По темам очень похоже: лейкхаус, AI агенты, data fabric, data governance.
- #6103 авг. 2026 г.572 views
Более 30 лидеров IT-индустрии поделятся практическим опытом управления…
Более 30 лидеров IT-индустрии поделятся практическим опытом управления командами, отдельными сотрудниками и ИИ-агентами — на конференции для тимлидов TEAM LEAD TODAY 2026. Мероприятие пройдет 10 сентября в Москве (ВДНХ, Бизнес.Техноград).
- #60930 июл. 2026 г.1 048 views
пупупу у меня всего 9 с половиной😚
пупупу у меня всего 9 с половиной😚
- #60824 июл. 2026 г.618 views
Отгадайте с первой попытки, за какой это было период и что случилось😁😁…
Отгадайте с первой попытки, за какой это было период и что случилось😁😁 @dataengineerette
- #60721 июл. 2026 г.506 views
Если хочешь развиваться в бэкенд-разработке — выстроить сильную базу,…
Если хочешь развиваться в бэкенд-разработке — выстроить сильную базу, углубиться в архитектуру или перейти в роль тимлида — в Центральном университете (ЦУ) есть магистратура под каждый сценарий. И на нее можно получить грант до 75%.
- #60614 июл. 2026 г.635 views
Сеньорские вопросы 🤵 Чем круче вы становитесь, чем в более highload сторону вы…
Сеньорские вопросы 🤵 Чем круче вы становитесь, чем в более highload сторону вы идете, чем быстрее развиваются ллмки, тем вопросики к вам становятся все серьезнее Собрала для вас подборку таких вопросов по технологиям: ✨ Spark Из чего состоит executor memory? Что такое…
- #6059 июл. 2026 г.745 views
Всем привет! Возвращаюсь на связь, на прошлой неделе была в отпуске😌 А пока на…
Всем привет! Возвращаюсь на связь, на прошлой неделе была в отпуске😌 А пока на нашем рынке я такого не видела, но на зарубежном после HR-интервью присылается очень подробное и информативное саммари: о чем говорили, что нужно спросить в следующий раз, ваши плюсы/минусы,…
- #6046 июл. 2026 г.597 views
Системный аналитик помогает бизнесу и разработке говорить на одном языке:…
Системный аналитик помогает бизнесу и разработке говорить на одном языке: разбирает задачи компании, описывает требования, проектирует IT-решения и следит, чтобы система работала на реальные цели бизнеса.
- #60324 июн. 2026 г.524 views
Кажется, я уработалась😕 Это моя первая мысль, как только я села в такси
Кажется, я уработалась😕 Это моя первая мысль, как только я села в такси
- #60123 июн. 2026 г.841 views
Раскрываю тайну Наверняка у многих был такой момент, что вы заходите в YARN,…
Раскрываю тайну Наверняка у многих был такой момент, что вы заходите в YARN, находите Hive-запрос, хотите в него провалиться, но Tez UI недоступен? Теперь вы знаете, как он выглядит @dataengineerette
- #60019 июн. 2026 г.514 views
Пойдемте прокачиваться 🧐 Кажется, многие айтишники в какой-то момент приходят к…
Пойдемте прокачиваться 🧐 Кажется, многие айтишники в какой-то момент приходят к одной мысли: хочется не только писать код и закрывать задачи, но и делиться опытом, влиять на развитие профессии и видеть результаты своей работы в людях Чтобы это все реализовалось, в Центральном…
- #59417 июн. 2026 г.482 views
"Data + AI 🍿 Вчера-сегодня проходит Data + AI Summit от Databricks. Основная…
"Data + AI 🍿 Вчера-сегодня проходит Data + AI Summit от Databricks. Основная суть — как работать с данными в эру AI, реклама собственных разработок, интервью с партнерами и крупными пользователями, кейсы применения сервисов Меня больше всего поразило — как они красиво говорят, у…
- #59316 июн. 2026 г.517 views
Hive vs HMS HMS - Hive Metastore Я долгое время вообще не знала про…
Hive vs HMS HMS - Hive Metastore Я долгое время вообще не знала про существование HMS. Для меня HMS и Hive шли неразрывно, и я не отличала одно от другого.
- #59215 июн. 2026 г.627 views
Кажется, каждую неделю появляется новый пост о том, как ИИ скоро заменит…
Кажется, каждую неделю появляется новый пост о том, как ИИ скоро заменит аналитиков Но если внимательнее посмотреть на ситуацию, становится понятно: происходит совсем другое. Компании по-прежнему ищут специалистов по данным. Просто меняются требования.
- #59111 июн. 2026 г.771 views
AI-эра тех собесов 💻 Теперь вместе с sql/python-задачками на тех собесе могут…
AI-эра тех собесов 💻 Теперь вместе с sql/python-задачками на тех собесе могут дать создание мини-проекта за 20 минут Разрешается использовать все, что угодно, любые ллм.
- #5908 июн. 2026 г.681 views
ClickOps Мне тут пришло в голову покопаться в сервисах AWS и поделать…
ClickOps Мне тут пришло в голову покопаться в сервисах AWS и поделать какие-нибудь лабы. На ютубе довольно много видосов от индусов (и не только) на эту тему, я в итоге решила посмотреть вот этот 4х-часовой туториал с пет-проектом 🎙 Там парень очень понятно рассказывает про…
- #5894 июн. 2026 г.603 views
Когда никто не понимает, как делать задачу😂
Когда никто не понимает, как делать задачу😂
- #5883 июн. 2026 г.597 views
Clickhouse для программистов, аналитиков и инженеров данных Перестаньте ждать,…
Clickhouse для программистов, аналитиков и инженеров данных Перестаньте ждать, пока считается аналитика. Научитесь использовать ClickHouse — СУБД, которая превращает минутные аналитические запросы в ответы за доли секунды. С первого дня — доступ к инфраструктуре для практики.
- #5871 июн. 2026 г.907 views
Случайно замедлили все загрузки Небольшая история о том, как можно ухудшить…
Случайно замедлили все загрузки Небольшая история о том, как можно ухудшить состояние кластера, не добавив и строчки кода😁 Предыстория У нас в airflow есть много дагов, которые качают данные из бд.
- #58628 мая 2026 г.601 views
На пути к гуру алгосов 01.06 стартует новый поток курса от Глеба Михайлова, и я…
На пути к гуру алгосов 01.06 стартует новый поток курса от Глеба Михайлова, и я на него иду! Алгосы — это точно мое слабое место, и я прямо в превкушении почувствовать «азарт охотника, а не ужас жертвы»🐆 Я уже зарегалась на платформе, добавилась в чатик и посмотрела орг…
- #58526 мая 2026 г.511 views
Познакомилась с деврелом из OpenMetadata В последнем спринте работала над…
Познакомилась с деврелом из OpenMetadata В последнем спринте работала над таской, связанной с OpenMetadata. Она была поначалу настолько непонятой, что пришлось присоединиться к коммьюнити в Slack🤩 Могу сказать, что у них просто офигенная поддержка в чате, на вопросы они отвечают…
- #58212 мая 2026 г.812 views
"Airflow для менеджеров В Ariflow 3.1 появилась группа hitl-операторов, которая…
"Airflow для менеджеров В Ariflow 3.1 появилась группа hitl-операторов, которая позволяет что-то вводить пользаку во время работы дага HITL = Human-in-the-loop 🫠 Что делает пример на картинках? Мы задаем даты, выбираем сервисы из списка, вводим почту и получаем отчет.
- #5815 мая 2026 г.763 views
"Куда катится рынок? Недавно заходила послушать обсуждение текущей ситуации на…
"Куда катится рынок? Недавно заходила послушать обсуждение текущей ситуации на рынке. Что интересного оттуда записала: 1️⃣ Сейчас есть смысл просить 300-350-400. Потому что вместо разраба за 500-600 возьмут обычного + дадут ему иишку.
- #58030 апр. 2026 г.735 views
Data Vault за один вечер Решила я тут погрузиться в дата волт на практике.…
Data Vault за один вечер Решила я тут погрузиться в дата волт на практике. Нашла интересный проект — AutomateDV (бывший dbtvault) У них есть демо-проект, в котором создаются разные сущности, несколько видосов с объяснениями и небольшая, но очень детальная дока 💻 Поставила себе…
- #57926 апр. 2026 г.710 views
Нетворкинг для разведчиков По рекомендации прочитала книжку «Нетворкинг для…
Нетворкинг для разведчиков По рекомендации прочитала книжку «Нетворкинг для разведчиков» от пары советских разведчиков. Она лучше предыдущей, вдохновила меня на практику, но не прям вау, у них много похожих мыслей 🎧 Позже я посмотрела интервью с ними (раз, два), особенно…
- #57823 апр. 2026 г.1 087 views
"Одна из оптимизаций адаптивки У меня есть много запросов вида ""select ...…
"Одна из оптимизаций адаптивки У меня есть много запросов вида ""select ... from ... order by"". В какой-то момент я заметила, что иногда джобы стартуют, а иногда нет, но считается все нормально. Но разобраться-то все равно интересно) ☕️ Я смотрю план запроса у таблиц.
- #57722 апр. 2026 г.1 239 views
"Аналитика, DWH и OLAP-нагрузки растут, и базы начинают упираться в дисковую…
"Аналитика, DWH и OLAP-нагрузки растут, и базы начинают упираться в дисковую подсистему… Для таких задач Selectel добавили новую конфигурацию Mega в базы данных на выделенных облачных серверах.
- #57514 апр. 2026 г.789 views
Дата-инженер, пора на прокачку Если хотите в 2026 не просто “поддерживать…
Дата-инженер, пора на прокачку Если хотите в 2026 не просто “поддерживать пайплайны”, а лучше понимать архитектуру, ускорять разработку и принимать более сильные технические решения — регистрируйтесь на серию вебинаров от команды Дата-сервисов VK Tech.
- #57413 апр. 2026 г.894 views
"Разбираемся в каталогах Начинаем понедельник с распутывания клубочка🧶…
"Разбираемся в каталогах Начинаем понедельник с распутывания клубочка🧶 Концепций каталога развелось столько, что я сама уже запуталась, что есть что) Давайте вместе разложим по полочкам Трино Каталог - это конфиги для подключения к разным источникам данных Они прописываются в…
- #5739 апр. 2026 г.1 320 views
"Копаемся в метасторе Вы когда-нибудь заглядывали, что на самом деле хранится в…
"Копаемся в метасторе Вы когда-нибудь заглядывали, что на самом деле хранится в базенке хайв метастора? Там создаются системные таблицы с инфой по базам, таблицам, путям, колонкам и еще много всего Из наиболее полезных таблиц я для себя выделила: 🤩COLUMNSv2 - о колонках 🤩CTLGS -…
- #5726 апр. 2026 г.1 798 views
Могла стать главной в yandex cloud На меня вышел человечек и предложил…
Могла стать главной в yandex cloud На меня вышел человечек и предложил зарефералить на позицию Product Manager для развития продуктов для де в облаке.