дата инженеретта@data_engineerette
мелкое — крупно, в глубоком разговоре мудрость приходит по вопросам сюда: @aigul_sea
Последние посты (60)
- #60824 июл. 2026 г.618 views
Отгадайте с первой попытки, за какой это было период и что случилось😁😁…
Отгадайте с первой попытки, за какой это было период и что случилось😁😁 @dataengineerette
- #60721 июл. 2026 г.506 views
Если хочешь развиваться в бэкенд-разработке — выстроить сильную базу,…
Если хочешь развиваться в бэкенд-разработке — выстроить сильную базу, углубиться в архитектуру или перейти в роль тимлида — в Центральном университете (ЦУ) есть магистратура под каждый сценарий. И на нее можно получить грант до 75%.
- #60614 июл. 2026 г.635 views
Сеньорские вопросы 🤵 Чем круче вы становитесь, чем в более highload сторону вы…
Сеньорские вопросы 🤵 Чем круче вы становитесь, чем в более highload сторону вы идете, чем быстрее развиваются ллмки, тем вопросики к вам становятся все серьезнее Собрала для вас подборку таких вопросов по технологиям: ✨ Spark Из чего состоит executor memory? Что такое…
- #6059 июл. 2026 г.745 views
Всем привет! Возвращаюсь на связь, на прошлой неделе была в отпуске😌 А пока на…
Всем привет! Возвращаюсь на связь, на прошлой неделе была в отпуске😌 А пока на нашем рынке я такого не видела, но на зарубежном после HR-интервью присылается очень подробное и информативное саммари: о чем говорили, что нужно спросить в следующий раз, ваши плюсы/минусы,…
- #6046 июл. 2026 г.597 views
Системный аналитик помогает бизнесу и разработке говорить на одном языке:…
Системный аналитик помогает бизнесу и разработке говорить на одном языке: разбирает задачи компании, описывает требования, проектирует IT-решения и следит, чтобы система работала на реальные цели бизнеса.
- #60324 июн. 2026 г.524 views
Кажется, я уработалась😕 Это моя первая мысль, как только я села в такси
Кажется, я уработалась😕 Это моя первая мысль, как только я села в такси
- #60123 июн. 2026 г.841 views
Раскрываю тайну Наверняка у многих был такой момент, что вы заходите в YARN,…
Раскрываю тайну Наверняка у многих был такой момент, что вы заходите в YARN, находите Hive-запрос, хотите в него провалиться, но Tez UI недоступен? Теперь вы знаете, как он выглядит @dataengineerette
- #60019 июн. 2026 г.514 views
Пойдемте прокачиваться 🧐 Кажется, многие айтишники в какой-то момент приходят к…
Пойдемте прокачиваться 🧐 Кажется, многие айтишники в какой-то момент приходят к одной мысли: хочется не только писать код и закрывать задачи, но и делиться опытом, влиять на развитие профессии и видеть результаты своей работы в людях Чтобы это все реализовалось, в Центральном…
- #59417 июн. 2026 г.482 views
"Data + AI 🍿 Вчера-сегодня проходит Data + AI Summit от Databricks. Основная…
"Data + AI 🍿 Вчера-сегодня проходит Data + AI Summit от Databricks. Основная суть — как работать с данными в эру AI, реклама собственных разработок, интервью с партнерами и крупными пользователями, кейсы применения сервисов Меня больше всего поразило — как они красиво говорят, у…
- #59316 июн. 2026 г.517 views
Hive vs HMS HMS - Hive Metastore Я долгое время вообще не знала про…
Hive vs HMS HMS - Hive Metastore Я долгое время вообще не знала про существование HMS. Для меня HMS и Hive шли неразрывно, и я не отличала одно от другого.
- #59215 июн. 2026 г.627 views
Кажется, каждую неделю появляется новый пост о том, как ИИ скоро заменит…
Кажется, каждую неделю появляется новый пост о том, как ИИ скоро заменит аналитиков Но если внимательнее посмотреть на ситуацию, становится понятно: происходит совсем другое. Компании по-прежнему ищут специалистов по данным. Просто меняются требования.
- #59111 июн. 2026 г.771 views
AI-эра тех собесов 💻 Теперь вместе с sql/python-задачками на тех собесе могут…
AI-эра тех собесов 💻 Теперь вместе с sql/python-задачками на тех собесе могут дать создание мини-проекта за 20 минут Разрешается использовать все, что угодно, любые ллм.
- #5908 июн. 2026 г.681 views
ClickOps Мне тут пришло в голову покопаться в сервисах AWS и поделать…
ClickOps Мне тут пришло в голову покопаться в сервисах AWS и поделать какие-нибудь лабы. На ютубе довольно много видосов от индусов (и не только) на эту тему, я в итоге решила посмотреть вот этот 4х-часовой туториал с пет-проектом 🎙 Там парень очень понятно рассказывает про…
- #5894 июн. 2026 г.603 views
Когда никто не понимает, как делать задачу😂
Когда никто не понимает, как делать задачу😂
- #5883 июн. 2026 г.597 views
Clickhouse для программистов, аналитиков и инженеров данных Перестаньте ждать,…
Clickhouse для программистов, аналитиков и инженеров данных Перестаньте ждать, пока считается аналитика. Научитесь использовать ClickHouse — СУБД, которая превращает минутные аналитические запросы в ответы за доли секунды. С первого дня — доступ к инфраструктуре для практики.
- #5871 июн. 2026 г.907 views
Случайно замедлили все загрузки Небольшая история о том, как можно ухудшить…
Случайно замедлили все загрузки Небольшая история о том, как можно ухудшить состояние кластера, не добавив и строчки кода😁 Предыстория У нас в airflow есть много дагов, которые качают данные из бд.
- #58628 мая 2026 г.601 views
На пути к гуру алгосов 01.06 стартует новый поток курса от Глеба Михайлова, и я…
На пути к гуру алгосов 01.06 стартует новый поток курса от Глеба Михайлова, и я на него иду! Алгосы — это точно мое слабое место, и я прямо в превкушении почувствовать «азарт охотника, а не ужас жертвы»🐆 Я уже зарегалась на платформе, добавилась в чатик и посмотрела орг…
- #58526 мая 2026 г.511 views
Познакомилась с деврелом из OpenMetadata В последнем спринте работала над…
Познакомилась с деврелом из OpenMetadata В последнем спринте работала над таской, связанной с OpenMetadata. Она была поначалу настолько непонятой, что пришлось присоединиться к коммьюнити в Slack🤩 Могу сказать, что у них просто офигенная поддержка в чате, на вопросы они отвечают…
- #58212 мая 2026 г.812 views
"Airflow для менеджеров В Ariflow 3.1 появилась группа hitl-операторов, которая…
"Airflow для менеджеров В Ariflow 3.1 появилась группа hitl-операторов, которая позволяет что-то вводить пользаку во время работы дага HITL = Human-in-the-loop 🫠 Что делает пример на картинках? Мы задаем даты, выбираем сервисы из списка, вводим почту и получаем отчет.
- #5815 мая 2026 г.763 views
"Куда катится рынок? Недавно заходила послушать обсуждение текущей ситуации на…
"Куда катится рынок? Недавно заходила послушать обсуждение текущей ситуации на рынке. Что интересного оттуда записала: 1️⃣ Сейчас есть смысл просить 300-350-400. Потому что вместо разраба за 500-600 возьмут обычного + дадут ему иишку.
- #58030 апр. 2026 г.735 views
Data Vault за один вечер Решила я тут погрузиться в дата волт на практике.…
Data Vault за один вечер Решила я тут погрузиться в дата волт на практике. Нашла интересный проект — AutomateDV (бывший dbtvault) У них есть демо-проект, в котором создаются разные сущности, несколько видосов с объяснениями и небольшая, но очень детальная дока 💻 Поставила себе…
- #57926 апр. 2026 г.710 views
Нетворкинг для разведчиков По рекомендации прочитала книжку «Нетворкинг для…
Нетворкинг для разведчиков По рекомендации прочитала книжку «Нетворкинг для разведчиков» от пары советских разведчиков. Она лучше предыдущей, вдохновила меня на практику, но не прям вау, у них много похожих мыслей 🎧 Позже я посмотрела интервью с ними (раз, два), особенно…
- #57823 апр. 2026 г.1 087 views
"Одна из оптимизаций адаптивки У меня есть много запросов вида ""select ...…
"Одна из оптимизаций адаптивки У меня есть много запросов вида ""select ... from ... order by"". В какой-то момент я заметила, что иногда джобы стартуют, а иногда нет, но считается все нормально. Но разобраться-то все равно интересно) ☕️ Я смотрю план запроса у таблиц.
- #57722 апр. 2026 г.1 239 views
"Аналитика, DWH и OLAP-нагрузки растут, и базы начинают упираться в дисковую…
"Аналитика, DWH и OLAP-нагрузки растут, и базы начинают упираться в дисковую подсистему… Для таких задач Selectel добавили новую конфигурацию Mega в базы данных на выделенных облачных серверах.
- #57514 апр. 2026 г.789 views
Дата-инженер, пора на прокачку Если хотите в 2026 не просто “поддерживать…
Дата-инженер, пора на прокачку Если хотите в 2026 не просто “поддерживать пайплайны”, а лучше понимать архитектуру, ускорять разработку и принимать более сильные технические решения — регистрируйтесь на серию вебинаров от команды Дата-сервисов VK Tech.
- #57413 апр. 2026 г.894 views
"Разбираемся в каталогах Начинаем понедельник с распутывания клубочка🧶…
"Разбираемся в каталогах Начинаем понедельник с распутывания клубочка🧶 Концепций каталога развелось столько, что я сама уже запуталась, что есть что) Давайте вместе разложим по полочкам Трино Каталог - это конфиги для подключения к разным источникам данных Они прописываются в…
- #5739 апр. 2026 г.1 320 views
"Копаемся в метасторе Вы когда-нибудь заглядывали, что на самом деле хранится в…
"Копаемся в метасторе Вы когда-нибудь заглядывали, что на самом деле хранится в базенке хайв метастора? Там создаются системные таблицы с инфой по базам, таблицам, путям, колонкам и еще много всего Из наиболее полезных таблиц я для себя выделила: 🤩COLUMNSv2 - о колонках 🤩CTLGS -…
- #5726 апр. 2026 г.1 798 views
Могла стать главной в yandex cloud На меня вышел человечек и предложил…
Могла стать главной в yandex cloud На меня вышел человечек и предложил зарефералить на позицию Product Manager для развития продуктов для де в облаке.
- #5712 апр. 2026 г.2 125 views
Каждому по лейкхаусу Мой коллега Саша запилил крутецкий курс по айсбергу! 😎 Я…
Каждому по лейкхаусу Мой коллега Саша запилил крутецкий курс по айсбергу! 😎 Я сама его полностью прошла, записала несколько новых для себя моментов и осталась очень довольна контентом👍 Например, вы знаете, как сделать CDC на айсберге? Или как выглядит partition evolution на…
- #57030 мар. 2026 г.2 361 views
Как положить гитлаб? Кратко: внедрить нейронку🧑🦲 Что произошло? В MR начали…
Как положить гитлаб? Кратко: внедрить нейронку🧑🦲 Что произошло? В MR начали бесконечно запускаться пайплайны с тестами каждые полминуты. Когда я впервые увидела, их уже было 90 штук!🪿 Как мы до такого докатились? Есть джоба, которая скачивает либу, красиво форматирует файлики и…
- #56926 мар. 2026 г.2 352 views
Мы свернули куда-то не туда😁
Мы свернули куда-то не туда😁
- #56824 мар. 2026 г.2 166 views
"Как поведёт себя аналитическая СУБД в облаке под нагрузкой? Разбор реального…
"Как поведёт себя аналитическая СУБД в облаке под нагрузкой? Разбор реального кейса Selectel и СР-ТЕХ приглашают на практический вебинар, где покажут, как провели нагрузочное тестирование и масштабировали аналитический кластер на 111 узлов всего за час в облаке.
- #56723 мар. 2026 г.2 083 views
"Как я проводила собесы Собесы я хотела проводить еще года 4 назад. Но тогда…
"Как я проводила собесы Собесы я хотела проводить еще года 4 назад. Но тогда брали коллегу, которая пришла чуть раньше меня( Но моя цель все-таки реализовалась, и я наняла 1 DE и 1 DQE 🤔 Всего я провела 25 собеседований.
- #56619 мар. 2026 г.1 894 views
Самый дурацкий кусок кода У вас есть такой код, который вы один раз увидели, но…
Самый дурацкий кусок кода У вас есть такой код, который вы один раз увидели, но никогда не забудете? Потому что он был настолько странным и запомнился надолго 😱 У меня такой есть.
- #55914 мар. 2026 г.2 346 views
"AI-эра 🤵 Я последние пару недель жестко подсела на видосы с фаундерами, CEO на…
"AI-эра 🤵 Я последние пару недель жестко подсела на видосы с фаундерами, CEO на тему бизнеса и AI. Все началось с поста про интервью с основателем Revolut Николаем Сторонским.
- #55711 мар. 2026 г.2 290 views
"Датаклассы Наконец-то спустя год дошли руки написать про датаклассы 🌷 Меня…
"Датаклассы Наконец-то спустя год дошли руки написать про датаклассы 🌷 Меня спросили на собесе в ламоду, и тогда я про них либо краем уха слышала, либо вообще не слышала. Но точно не использовала.
- #5565 мар. 2026 г.3 667 views
Iceberg — это must have? Вы еще не замечали, что становится больше вакансий,…
Iceberg — это must have? Вы еще не замечали, что становится больше вакансий, где айсберг уже требуют? С одной стороны, если посмотреть на hh, то вакансий с айсбергом всего около 5%.
- #5552 мар. 2026 г.2 654 views
AI в OpenSource 🤓 У нас была проблема: аналитики переписывают свои скрипты с…
AI в OpenSource 🤓 У нас была проблема: аналитики переписывают свои скрипты с синтаксиса Trino на Spark, и в DDL они постоянно забывают поменять varchar на string.
- #55427 февр. 2026 г.2 670 views
pre-commit Про эту штуку мне рассказал наш девопс. Короче, можно настроить у…
pre-commit Про эту штуку мне рассказал наш девопс. Короче, можно настроить у себя на ноуте, чтобы перед каждым коммитом прогонялись линтеры, форматтеры, другие легковесные чекеры Шаг 1.
- #55124 февр. 2026 г.2 017 views
"Влияние ИИ на маркетинг 🔝 Раньше бренды пытались быть в топе выдачи в…
"Влияние ИИ на маркетинг 🔝 Раньше бренды пытались быть в топе выдачи в поисковике, участвовали в аукционах, чтобы выбить себе первые места Когда я работала в маркетинге, наши аналитики очень часто обсуждали органический трафик.
- #55020 февр. 2026 г.2 596 views
"maxby/minby Узнала про прикольные функции, они заменяют оконку/CTE на одно…
"maxby/minby Узнала про прикольные функции, они заменяют оконку/CTE на одно поле Пример - вывести имя сотрудника с максимальным стажем по каждому департаменту ``` result = df.groupBy(""department"").agg( F.maxby(""name"", ""years"") ) ``` И все! Не надо никаких rownumber = 1 В…
- #54918 февр. 2026 г.2 225 views
Когда работаешь с айсбергом, но есть нюанс
Когда работаешь с айсбергом, но есть нюанс
- #54816 февр. 2026 г.4 640 views
Худшие фейлы в DE Наткнулась на тред в реддите, где обсуждались фейлы на…
Худшие фейлы в DE Наткнулась на тред в реддите, где обсуждались фейлы на работе. Мне больше всего зашли 2 истории, они такие смешные и страшные одновременно🤯 1️⃣Стриминг писал в то же самое место, откуда и читал.
- #54613 февр. 2026 г.2 142 views
Откуда у них доступ к моему Airflow
Откуда у них доступ к моему Airflow
- #54512 февр. 2026 г.2 290 views
Подъехала задачка! На картинке a, b - исходные таблицы, res - итоговая Нужно…
Подъехала задачка! На картинке a, b - исходные таблицы, res - итоговая Нужно написать один запрос, который вернет нужный результат в обоих случаях @dataengineerette
- #54410 февр. 2026 г.2 522 views
"Никогда не ешьте в одиночку и другие правила нетворкинга 🤓 Я увидела эту книгу…
"Никогда не ешьте в одиночку и другие правила нетворкинга 🤓 Я увидела эту книгу в рекомендациях, заинтриговало название, но как будто она вообще не про нашу жизнь) Она про конец 20го века, Америку и ведение бизнеса Кратко вот так: 📌составить список будущих контактов…
- #5435 февр. 2026 г.2 657 views
IPv4 vs IPv6 👀 Я раньше очень часто смотрела на таблицу с событиями…
IPv4 vs IPv6 👀 Я раньше очень часто смотрела на таблицу с событиями пользователей из яндекс метрики. Там были столбцы ClientIP и ClientIP6: ClientIP - IPv4 с которого было установлено TCP соединение с сервером ClientIP6 - IPv6 с которого было установлено TCP соединение с…
- #5372 февр. 2026 г.1 979 views
HARD SKILLS🫥 Сегодня разбираем реальный кейс о том, как один файл и смена…
HARD SKILLS🫥 Сегодня разбираем реальный кейс о том, как один файл и смена инфраструктуры положили Nexus и остановили релизы👩💻 Делитесь этим постом с друзьями и пишите свои вопросы в комментарии ✍️ Автор поста: @dataengineerette #hardskills
- #5362 февр. 2026 г.2 080 views
Поделилась тут интересной историей🤗
Поделилась тут интересной историей🤗
- #53529 янв. 2026 г.2 684 views
Замена show partitions Часто бывает, что нужно найти последнюю партицию и…
Замена show partitions Часто бывает, что нужно найти последнюю партицию и начать грузить данные со следующей. Пройдемся от банальных вариантов до особенно интересных 1️⃣ `max(date)` - самое ресурсозатратное, потому что нужно пробежаться по всей таблице 2️⃣ `show partitions` -…
- #53224 янв. 2026 г.2 958 views
"Двойные эмоциональные качели Эта история случилась, которая я устраивалась в…
"Двойные эмоциональные качели Эта история случилась, которая я устраивалась в Сбер. И до сих пор только избранные знали, как это произошло на самом деле) 🐌 Я параллельно общалась с двумя компаниями: первая удаленно (Mediascope), вторая в мск (Сбер) Особенности первой позиции:…
- #53121 янв. 2026 г.2 692 views
Удаляем дубли в ClickHouse без ReplacingMergeTree У меня была задачка настроить…
Удаляем дубли в ClickHouse без ReplacingMergeTree У меня была задачка настроить создание табличек через фреймворк. И вот настал момент - локально все работает, доступ к кх я получила, джобку доделана.
- #53019 янв. 2026 г.2 317 views
"Кастомизируем Spark UI Когда работают джобки в спарк приложении, мы обычно…
"Кастомизируем Spark UI Когда работают джобки в спарк приложении, мы обычно видим только техническое описание. Но есть возможность написать что-то читаемое: ``` spark.sparkContext.setJobDescription(s""Merge into ${schema}.${table}"") spark.sql(mysql)…
- #52914 янв. 2026 г.2 689 views
Баг/фича в DBeaver Вы когда-нибудь пробовали заполнить поле с датой значением…
Баг/фича в DBeaver Вы когда-нибудь пробовали заполнить поле с датой значением 9999-12-31 23:59:59.000 +0300? Если зайти в настройки и поменять на таймзону дальше мск, то мы будем уже в 10000м году Даже есть такая штука, как Y10K problem - проблема 10000го года.
- #52712 янв. 2026 г.2 762 views
Новые требования к кандидатам в 2026? Мне периодически пишут hr и иногда я…
Новые требования к кандидатам в 2026? Мне периодически пишут hr и иногда я отвечаю, чтобы быть в курсе текущих трендов на рынке. Из последних новостей - рекрутинговая компания пошла согласовывать резюме с компанией-заказчиком, но они требуют не меньше двух лет на последнем месте…
- #52430 дек. 2025 г.2 716 views
Мои итоги 2025 года 🙂 Нагенерила какую только можно стату по каналу. По точным…
Мои итоги 2025 года 🙂 Нагенерила какую только можно стату по каналу. По точным показателям выросли все метрики ехуу🙂 От иишки же мне понравилось, как она выделила ключевые слова и сформулировала позиционирование канала, возьму себе на заметку) Итак, за этот год вас стало в 2…
- #52326 дек. 2025 г.2 658 views
"Подводим итоги! ➡️ Летом этого года нашла такую штуку, как ""YearCompass"".…
"Подводим итоги! ➡️ Летом этого года нашла такую штуку, как ""YearCompass"". Это док для подведения итогов года. Там есть вопросы про предыдущий 2025 год - что произошло, какие достижения и уроки.
- #52224 дек. 2025 г.2 020 views
Advent of SQL. Days 11-14 🏂 Сначала вспомнили про скользящее среднее, его нужно…
Advent of SQL. Days 11-14 🏂 Сначала вспомнили про скользящее среднее, его нужно было найти за 7 предыдущих дней. Для этого есть конструкция rows between: ``` avg(score) over ( partition by childid order by behaviordate rows between 6 preceding and current row ) as…
- #52122 дек. 2025 г.2 101 views
Собрались как-то DeepSeek, Grok и Gemini... Вам попадался видос, как несколько…
Собрались как-то DeepSeek, Grok и Gemini... Вам попадался видос, как несколько иишек играют в мафию? Я наконец посмотрела, и тут прям полноценный разбор, как каждая модель себя ведет.
- #52020 дек. 2025 г.1 853 views
Advent of SQL. Day 10 🏰 Вот такую конструкцию я 200% ни разу не встречала и не…
Advent of SQL. Day 10 🏰 Вот такую конструкцию я 200% ни разу не встречала и не подозревала о ней! В задаче нужно было перенести данные из таблицы1 в таблицу2 и вывести только перенесенные строчки. Но обязательно в одном запросе - эммм...