дата инженеретта@data_engineerette
мелкое — крупно, в глубоком разговоре мудрость приходит по вопросам сюда: @aigul_sea
Последние посты (60)
- #5883 июн. 2026 г.597 views
Clickhouse для программистов, аналитиков и инженеров данных Перестаньте ждать,…
Clickhouse для программистов, аналитиков и инженеров данных Перестаньте ждать, пока считается аналитика. Научитесь использовать ClickHouse — СУБД, которая превращает минутные аналитические запросы в ответы за доли секунды. С первого дня — доступ к инфраструктуре для практики.
- #5871 июн. 2026 г.907 views
Случайно замедлили все загрузки Небольшая история о том, как можно ухудшить…
Случайно замедлили все загрузки Небольшая история о том, как можно ухудшить состояние кластера, не добавив и строчки кода😁 Предыстория У нас в airflow есть много дагов, которые качают данные из бд.
- #58628 мая 2026 г.601 views
На пути к гуру алгосов 01.06 стартует новый поток курса от Глеба Михайлова, и я…
На пути к гуру алгосов 01.06 стартует новый поток курса от Глеба Михайлова, и я на него иду! Алгосы — это точно мое слабое место, и я прямо в превкушении почувствовать «азарт охотника, а не ужас жертвы»🐆 Я уже зарегалась на платформе, добавилась в чатик и посмотрела орг…
- #58526 мая 2026 г.511 views
Познакомилась с деврелом из OpenMetadata В последнем спринте работала над…
Познакомилась с деврелом из OpenMetadata В последнем спринте работала над таской, связанной с OpenMetadata. Она была поначалу настолько непонятой, что пришлось присоединиться к коммьюнити в Slack🤩 Могу сказать, что у них просто офигенная поддержка в чате, на вопросы они отвечают…
- #58212 мая 2026 г.812 views
"Airflow для менеджеров В Ariflow 3.1 появилась группа hitl-операторов, которая…
"Airflow для менеджеров В Ariflow 3.1 появилась группа hitl-операторов, которая позволяет что-то вводить пользаку во время работы дага HITL = Human-in-the-loop 🫠 Что делает пример на картинках? Мы задаем даты, выбираем сервисы из списка, вводим почту и получаем отчет.
- #5815 мая 2026 г.763 views
"Куда катится рынок? Недавно заходила послушать обсуждение текущей ситуации на…
"Куда катится рынок? Недавно заходила послушать обсуждение текущей ситуации на рынке. Что интересного оттуда записала: 1️⃣ Сейчас есть смысл просить 300-350-400. Потому что вместо разраба за 500-600 возьмут обычного + дадут ему иишку.
- #58030 апр. 2026 г.735 views
Data Vault за один вечер Решила я тут погрузиться в дата волт на практике.…
Data Vault за один вечер Решила я тут погрузиться в дата волт на практике. Нашла интересный проект — AutomateDV (бывший dbtvault) У них есть демо-проект, в котором создаются разные сущности, несколько видосов с объяснениями и небольшая, но очень детальная дока 💻 Поставила себе…
- #57926 апр. 2026 г.710 views
Нетворкинг для разведчиков По рекомендации прочитала книжку «Нетворкинг для…
Нетворкинг для разведчиков По рекомендации прочитала книжку «Нетворкинг для разведчиков» от пары советских разведчиков. Она лучше предыдущей, вдохновила меня на практику, но не прям вау, у них много похожих мыслей 🎧 Позже я посмотрела интервью с ними (раз, два), особенно…
- #57823 апр. 2026 г.1 087 views
"Одна из оптимизаций адаптивки У меня есть много запросов вида ""select ...…
"Одна из оптимизаций адаптивки У меня есть много запросов вида ""select ... from ... order by"". В какой-то момент я заметила, что иногда джобы стартуют, а иногда нет, но считается все нормально. Но разобраться-то все равно интересно) ☕️ Я смотрю план запроса у таблиц.
- #57722 апр. 2026 г.1 239 views
"Аналитика, DWH и OLAP-нагрузки растут, и базы начинают упираться в дисковую…
"Аналитика, DWH и OLAP-нагрузки растут, и базы начинают упираться в дисковую подсистему… Для таких задач Selectel добавили новую конфигурацию Mega в базы данных на выделенных облачных серверах.
- #57514 апр. 2026 г.789 views
Дата-инженер, пора на прокачку Если хотите в 2026 не просто “поддерживать…
Дата-инженер, пора на прокачку Если хотите в 2026 не просто “поддерживать пайплайны”, а лучше понимать архитектуру, ускорять разработку и принимать более сильные технические решения — регистрируйтесь на серию вебинаров от команды Дата-сервисов VK Tech.
- #57413 апр. 2026 г.894 views
"Разбираемся в каталогах Начинаем понедельник с распутывания клубочка🧶…
"Разбираемся в каталогах Начинаем понедельник с распутывания клубочка🧶 Концепций каталога развелось столько, что я сама уже запуталась, что есть что) Давайте вместе разложим по полочкам Трино Каталог - это конфиги для подключения к разным источникам данных Они прописываются в…
- #5739 апр. 2026 г.1 320 views
"Копаемся в метасторе Вы когда-нибудь заглядывали, что на самом деле хранится в…
"Копаемся в метасторе Вы когда-нибудь заглядывали, что на самом деле хранится в базенке хайв метастора? Там создаются системные таблицы с инфой по базам, таблицам, путям, колонкам и еще много всего Из наиболее полезных таблиц я для себя выделила: 🤩COLUMNSv2 - о колонках 🤩CTLGS -…
- #5726 апр. 2026 г.1 798 views
Могла стать главной в yandex cloud На меня вышел человечек и предложил…
Могла стать главной в yandex cloud На меня вышел человечек и предложил зарефералить на позицию Product Manager для развития продуктов для де в облаке.
- #5712 апр. 2026 г.2 125 views
Каждому по лейкхаусу Мой коллега Саша запилил крутецкий курс по айсбергу! 😎 Я…
Каждому по лейкхаусу Мой коллега Саша запилил крутецкий курс по айсбергу! 😎 Я сама его полностью прошла, записала несколько новых для себя моментов и осталась очень довольна контентом👍 Например, вы знаете, как сделать CDC на айсберге? Или как выглядит partition evolution на…
- #57030 мар. 2026 г.2 361 views
Как положить гитлаб? Кратко: внедрить нейронку🧑🦲 Что произошло? В MR начали…
Как положить гитлаб? Кратко: внедрить нейронку🧑🦲 Что произошло? В MR начали бесконечно запускаться пайплайны с тестами каждые полминуты. Когда я впервые увидела, их уже было 90 штук!🪿 Как мы до такого докатились? Есть джоба, которая скачивает либу, красиво форматирует файлики и…
- #56926 мар. 2026 г.2 352 views
Мы свернули куда-то не туда😁
Мы свернули куда-то не туда😁
- #56824 мар. 2026 г.2 166 views
"Как поведёт себя аналитическая СУБД в облаке под нагрузкой? Разбор реального…
"Как поведёт себя аналитическая СУБД в облаке под нагрузкой? Разбор реального кейса Selectel и СР-ТЕХ приглашают на практический вебинар, где покажут, как провели нагрузочное тестирование и масштабировали аналитический кластер на 111 узлов всего за час в облаке.
- #56723 мар. 2026 г.2 083 views
"Как я проводила собесы Собесы я хотела проводить еще года 4 назад. Но тогда…
"Как я проводила собесы Собесы я хотела проводить еще года 4 назад. Но тогда брали коллегу, которая пришла чуть раньше меня( Но моя цель все-таки реализовалась, и я наняла 1 DE и 1 DQE 🤔 Всего я провела 25 собеседований.
- #56619 мар. 2026 г.1 894 views
Самый дурацкий кусок кода У вас есть такой код, который вы один раз увидели, но…
Самый дурацкий кусок кода У вас есть такой код, который вы один раз увидели, но никогда не забудете? Потому что он был настолько странным и запомнился надолго 😱 У меня такой есть.
- #55914 мар. 2026 г.2 346 views
"AI-эра 🤵 Я последние пару недель жестко подсела на видосы с фаундерами, CEO на…
"AI-эра 🤵 Я последние пару недель жестко подсела на видосы с фаундерами, CEO на тему бизнеса и AI. Все началось с поста про интервью с основателем Revolut Николаем Сторонским.
- #55711 мар. 2026 г.2 290 views
"Датаклассы Наконец-то спустя год дошли руки написать про датаклассы 🌷 Меня…
"Датаклассы Наконец-то спустя год дошли руки написать про датаклассы 🌷 Меня спросили на собесе в ламоду, и тогда я про них либо краем уха слышала, либо вообще не слышала. Но точно не использовала.
- #5565 мар. 2026 г.3 667 views
Iceberg — это must have? Вы еще не замечали, что становится больше вакансий,…
Iceberg — это must have? Вы еще не замечали, что становится больше вакансий, где айсберг уже требуют? С одной стороны, если посмотреть на hh, то вакансий с айсбергом всего около 5%.
- #5552 мар. 2026 г.2 654 views
AI в OpenSource 🤓 У нас была проблема: аналитики переписывают свои скрипты с…
AI в OpenSource 🤓 У нас была проблема: аналитики переписывают свои скрипты с синтаксиса Trino на Spark, и в DDL они постоянно забывают поменять varchar на string.
- #55427 февр. 2026 г.2 670 views
pre-commit Про эту штуку мне рассказал наш девопс. Короче, можно настроить у…
pre-commit Про эту штуку мне рассказал наш девопс. Короче, можно настроить у себя на ноуте, чтобы перед каждым коммитом прогонялись линтеры, форматтеры, другие легковесные чекеры Шаг 1.
- #55124 февр. 2026 г.2 017 views
"Влияние ИИ на маркетинг 🔝 Раньше бренды пытались быть в топе выдачи в…
"Влияние ИИ на маркетинг 🔝 Раньше бренды пытались быть в топе выдачи в поисковике, участвовали в аукционах, чтобы выбить себе первые места Когда я работала в маркетинге, наши аналитики очень часто обсуждали органический трафик.
- #55020 февр. 2026 г.2 596 views
"maxby/minby Узнала про прикольные функции, они заменяют оконку/CTE на одно…
"maxby/minby Узнала про прикольные функции, они заменяют оконку/CTE на одно поле Пример - вывести имя сотрудника с максимальным стажем по каждому департаменту ``` result = df.groupBy(""department"").agg( F.maxby(""name"", ""years"") ) ``` И все! Не надо никаких rownumber = 1 В…
- #54918 февр. 2026 г.2 225 views
Когда работаешь с айсбергом, но есть нюанс
Когда работаешь с айсбергом, но есть нюанс
- #54816 февр. 2026 г.4 640 views
Худшие фейлы в DE Наткнулась на тред в реддите, где обсуждались фейлы на…
Худшие фейлы в DE Наткнулась на тред в реддите, где обсуждались фейлы на работе. Мне больше всего зашли 2 истории, они такие смешные и страшные одновременно🤯 1️⃣Стриминг писал в то же самое место, откуда и читал.
- #54613 февр. 2026 г.2 142 views
Откуда у них доступ к моему Airflow
Откуда у них доступ к моему Airflow
- #54512 февр. 2026 г.2 290 views
Подъехала задачка! На картинке a, b - исходные таблицы, res - итоговая Нужно…
Подъехала задачка! На картинке a, b - исходные таблицы, res - итоговая Нужно написать один запрос, который вернет нужный результат в обоих случаях @dataengineerette
- #54410 февр. 2026 г.2 522 views
"Никогда не ешьте в одиночку и другие правила нетворкинга 🤓 Я увидела эту книгу…
"Никогда не ешьте в одиночку и другие правила нетворкинга 🤓 Я увидела эту книгу в рекомендациях, заинтриговало название, но как будто она вообще не про нашу жизнь) Она про конец 20го века, Америку и ведение бизнеса Кратко вот так: 📌составить список будущих контактов…
- #5435 февр. 2026 г.2 657 views
IPv4 vs IPv6 👀 Я раньше очень часто смотрела на таблицу с событиями…
IPv4 vs IPv6 👀 Я раньше очень часто смотрела на таблицу с событиями пользователей из яндекс метрики. Там были столбцы ClientIP и ClientIP6: ClientIP - IPv4 с которого было установлено TCP соединение с сервером ClientIP6 - IPv6 с которого было установлено TCP соединение с…
- #5372 февр. 2026 г.1 979 views
HARD SKILLS🫥 Сегодня разбираем реальный кейс о том, как один файл и смена…
HARD SKILLS🫥 Сегодня разбираем реальный кейс о том, как один файл и смена инфраструктуры положили Nexus и остановили релизы👩💻 Делитесь этим постом с друзьями и пишите свои вопросы в комментарии ✍️ Автор поста: @dataengineerette #hardskills
- #5362 февр. 2026 г.2 080 views
Поделилась тут интересной историей🤗
Поделилась тут интересной историей🤗
- #53529 янв. 2026 г.2 684 views
Замена show partitions Часто бывает, что нужно найти последнюю партицию и…
Замена show partitions Часто бывает, что нужно найти последнюю партицию и начать грузить данные со следующей. Пройдемся от банальных вариантов до особенно интересных 1️⃣ `max(date)` - самое ресурсозатратное, потому что нужно пробежаться по всей таблице 2️⃣ `show partitions` -…
- #53224 янв. 2026 г.2 958 views
"Двойные эмоциональные качели Эта история случилась, которая я устраивалась в…
"Двойные эмоциональные качели Эта история случилась, которая я устраивалась в Сбер. И до сих пор только избранные знали, как это произошло на самом деле) 🐌 Я параллельно общалась с двумя компаниями: первая удаленно (Mediascope), вторая в мск (Сбер) Особенности первой позиции:…
- #53121 янв. 2026 г.2 692 views
Удаляем дубли в ClickHouse без ReplacingMergeTree У меня была задачка настроить…
Удаляем дубли в ClickHouse без ReplacingMergeTree У меня была задачка настроить создание табличек через фреймворк. И вот настал момент - локально все работает, доступ к кх я получила, джобку доделана.
- #53019 янв. 2026 г.2 317 views
"Кастомизируем Spark UI Когда работают джобки в спарк приложении, мы обычно…
"Кастомизируем Spark UI Когда работают джобки в спарк приложении, мы обычно видим только техническое описание. Но есть возможность написать что-то читаемое: ``` spark.sparkContext.setJobDescription(s""Merge into ${schema}.${table}"") spark.sql(mysql)…
- #52914 янв. 2026 г.2 689 views
Баг/фича в DBeaver Вы когда-нибудь пробовали заполнить поле с датой значением…
Баг/фича в DBeaver Вы когда-нибудь пробовали заполнить поле с датой значением 9999-12-31 23:59:59.000 +0300? Если зайти в настройки и поменять на таймзону дальше мск, то мы будем уже в 10000м году Даже есть такая штука, как Y10K problem - проблема 10000го года.
- #52712 янв. 2026 г.2 762 views
Новые требования к кандидатам в 2026? Мне периодически пишут hr и иногда я…
Новые требования к кандидатам в 2026? Мне периодически пишут hr и иногда я отвечаю, чтобы быть в курсе текущих трендов на рынке. Из последних новостей - рекрутинговая компания пошла согласовывать резюме с компанией-заказчиком, но они требуют не меньше двух лет на последнем месте…
- #52430 дек. 2025 г.2 716 views
Мои итоги 2025 года 🙂 Нагенерила какую только можно стату по каналу. По точным…
Мои итоги 2025 года 🙂 Нагенерила какую только можно стату по каналу. По точным показателям выросли все метрики ехуу🙂 От иишки же мне понравилось, как она выделила ключевые слова и сформулировала позиционирование канала, возьму себе на заметку) Итак, за этот год вас стало в 2…
- #52326 дек. 2025 г.2 658 views
"Подводим итоги! ➡️ Летом этого года нашла такую штуку, как ""YearCompass"".…
"Подводим итоги! ➡️ Летом этого года нашла такую штуку, как ""YearCompass"". Это док для подведения итогов года. Там есть вопросы про предыдущий 2025 год - что произошло, какие достижения и уроки.
- #52224 дек. 2025 г.2 020 views
Advent of SQL. Days 11-14 🏂 Сначала вспомнили про скользящее среднее, его нужно…
Advent of SQL. Days 11-14 🏂 Сначала вспомнили про скользящее среднее, его нужно было найти за 7 предыдущих дней. Для этого есть конструкция rows between: ``` avg(score) over ( partition by childid order by behaviordate rows between 6 preceding and current row ) as…
- #52122 дек. 2025 г.2 101 views
Собрались как-то DeepSeek, Grok и Gemini... Вам попадался видос, как несколько…
Собрались как-то DeepSeek, Grok и Gemini... Вам попадался видос, как несколько иишек играют в мафию? Я наконец посмотрела, и тут прям полноценный разбор, как каждая модель себя ведет.
- #52020 дек. 2025 г.1 853 views
Advent of SQL. Day 10 🏰 Вот такую конструкцию я 200% ни разу не встречала и не…
Advent of SQL. Day 10 🏰 Вот такую конструкцию я 200% ни разу не встречала и не подозревала о ней! В задаче нужно было перенести данные из таблицы1 в таблицу2 и вывести только перенесенные строчки. Но обязательно в одном запросе - эммм...
- #51919 дек. 2025 г.1 727 views
"Advent of SQL. Day 9 🗓️ День 9: нужно вытащить из вложенного json нужные поля.…
"Advent of SQL. Day 9 🗓️ День 9: нужно вытащить из вложенного json нужные поля. Я так и не могу запомнить, как правильно это делается в постгре, поэтому делала по интуиции) Заодно познакомилась с новыми функциями Как получилось у меня: ``` select…
- #51818 дек. 2025 г.1 575 views
Хотите побыть Дедом Морозом? Новый год - это пора чудес✨ И сегодня вы можете…
Хотите побыть Дедом Морозом? Новый год - это пора чудес✨ И сегодня вы можете помочь исполнению новогоднего чуда! У нас в ламоде проводится конкурс мерча.
- #51718 дек. 2025 г.1 673 views
Advent of SQL. Days 7-8 ☕️ На 7й день мы распределяли посетителей по разным…
Advent of SQL. Days 7-8 ☕️ На 7й день мы распределяли посетителей по разным какао-станциям на основе их вкусовых предпочтений. Для этого нужно было вспомнить про пересечения и агрегацию массивов Получилось такое условие джойна, оно возвращает true, если массивы пересекаются: ```…
- #51615 дек. 2025 г.1 795 views
"Advent of SQL. Days 5-6 На пятой задаче было топ-3 через rownumber и cte - мы…
"Advent of SQL. Days 5-6 На пятой задаче было топ-3 через rownumber и cte - мы с подобной штукой уже встречались ранее: ``` rownumber() over(partition by username order by count(1) desc) as rn ``` 😇Но на 6й день я немного потерялась...
- #51514 дек. 2025 г.1 839 views
Advent of SQL. Day 4 Задачка на приведение данных к единому формату и…
Advent of SQL. Day 4 Задачка на приведение данных к единому формату и применение like, ilike, case when, union В одном из case мне нужно было сделать assignedtask ilike '%snow%' or assignedtask ilike '%shovel%', но это так скучно)) Поэтому я пошла гуглить другие варианты, нашла…
- #51413 дек. 2025 г.1 566 views
Advent of SQL. Days 2-3 📺 Видосы с каждым днем становятся длиннее, вчера было…
Advent of SQL. Days 2-3 📺 Видосы с каждым днем становятся длиннее, вчера было уже почти 12 минут! Задача была на использование ilike - это регистронезависимый like, in, case when. Не думала, что update/delete можно применять, но в этих задачках можно...
- #51311 дек. 2025 г.1 670 views
Стартанул новый Advent of SQL!!! ⏳ В прошлом году его делал паренек на…
Стартанул новый Advent of SQL!!! ⏳ В прошлом году его делал паренек на волонтерских началах. А в этом эту идею продолжают ребята из онлайн-школы по бд на своей платформе Мне оочень понравился формат - они записывают видосы с заданием! И какой же харизматичный спикер, какой у…
- #51210 дек. 2025 г.1 775 views
"Мысли с матемаркетинга Посмотрела несколько интересных докладов с…
"Мысли с матемаркетинга Посмотрела несколько интересных докладов с матемаркетинга. Больше всего меня заинтересовали про работу с командой, что-то поближе к данным и практические кейсы.
- #5117 дек. 2025 г.1 852 views
SQL Advent. Days 4-7 ✨ Решила объединить, потому что в уровне easy (4 и 7 день)…
SQL Advent. Days 4-7 ✨ Решила объединить, потому что в уровне easy (4 и 7 день) нужно написать всего по 3-4 строчки ✨ День 5 потребовал от меня несколько попыток, потому что условие было неполным.
- #5105 дек. 2025 г.1 943 views
"Data Value Design Patterns Еще одна интересная глава. Она посвящена добавлению…
"Data Value Design Patterns Еще одна интересная глава. Она посвящена добавлению бизнес-ценности нашим данным, хотя технические моменты тоже есть 🎨 Data Enrichment Тут есть два подхода для обогащения данных.
- #5083 дек. 2025 г.1 875 views
"Тимлидский митап Сегодня прошел тимлидский онлайн-митап, описание которого мне…
"Тимлидский митап Сегодня прошел тимлидский онлайн-митап, описание которого мне очень понравилось. Посмотрим, какие темы обсуждались) 1️⃣ ""Поедатели времени команды"" Этот доклад я слушала особенно внимательно, он в меня попал на 100%.
- #5073 дек. 2025 г.1 746 views
SQL Advent. Day 3 Уровень hard - уже похоже на задачки с собесов. На скрине…
SQL Advent. Day 3 Уровень hard - уже похоже на задачки с собесов. На скрине одна из таких - когда нужно найти топ по каждой категории 📍 Полезные ссылки Адвент календарь Мои решения
- #5062 дек. 2025 г.1 860 views
SQL Advent. Day 2 Сегодня задание на джойн) Заметила, что ллмка анализирует…
SQL Advent. Day 2 Сегодня задание на джойн) Заметила, что ллмка анализирует твое решение и пишет в чат моменты на улучшение: To make sure you only get unique toy IDs and names (in case a toy was delivered multiple times), you might want to consider using DISTINCT.
- #5051 дек. 2025 г.2 442 views
SQL Advent. Day 1 Сегодня стартовал адвент по sql! К сожалению, орг…
SQL Advent. Day 1 Сегодня стартовал адвент по sql! К сожалению, орг прошлогоднего адвента решил в этом году его не делать 😪 Но я нашла еще один! 🤩всего 24 дня 🤩задания открываются в 17:00 по мск Первый день супер легкий, погнали вместе проходить) 📍 Полезные ссылки Адвент…