Инжиниринг Данных@rockyourdata
Делюсь новостями из мира аналитики и карьерными советами. 15 лет в Аналитике и Инжиниринге Данных, 10 лет в MAANG 🛠️ dataengineer.ru | 🏄♂️ Surfalytics.com №5017813306 Реклама: https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9a8ce
Последние посты (60)
- #59263 июн. 2026 г.2 702 views
В наше время самый кайф это попасть в зону, где нет сети. Следующие 5 дней буду…
В наше время самый кайф это попасть в зону, где нет сети. Следующие 5 дней буду плавать на paddle board в тихом океане и ничего делать🏄♂️
- #59251 июн. 2026 г.3 936 views
Наш любимый dbt стал еще лучше - встречайте dbt core v2 • dbt Core v2.0 — это…
Наш любимый dbt стал еще лучше - встречайте dbt core v2 • dbt Core v2.0 — это новая open-source (Apache 2.0) основа, которая теперь написана на Rust вместо Python.
- #592429 мая 2026 г.2 768 views
Почему ваша команда дата-инженеров всегда выглядит несчастной и выгоревшей: 1.…
Почему ваша команда дата-инженеров всегда выглядит несчастной и выгоревшей: 1. Они тратят большую часть времени на переработку плохо спроектированных таблиц в SQL 2. На них кричат, когда ломается чужой код 3. Никто не пишет тесты, но все ожидают, что они будут отлаживать сбои 4.
- #592328 мая 2026 г.1 580 views
Сегодня был еще один собес. На входе 5 лет опыта. Задачка такая же - платформа…
Сегодня был еще один собес. На входе 5 лет опыта. Задачка такая же - платформа на AWS. Кандидат прыгал с Postgres на Snowflake и Databricks. Про dbt не слышал, Airflow мельком. 5 лет это реальный опыт.
- #592127 мая 2026 г.3 371 views
Сегодня проводил собес по system design DE. У Кандидата было резюме на 10…
Сегодня проводил собес по system design DE. У Кандидата было резюме на 10 страниц текста! Сами понимаете серьезный кандидат. Я приложил задачку и результат. Чувак не в теме особо про dbt, Snowflake и тп.
- #591927 мая 2026 г.1 706 views
"Послушал подкаст Data Engineering Central - там разговор с Джейкобом Мэтсоном,…
"Послушал подкаст Data Engineering Central - там разговор с Джейкобом Мэтсоном, Developer Advocate из MotherDuck (это облачная версия DuckDB). 1. Индустрия устала от сложности После лет оверинжиниринга (Spark, Kafka, огромные кластеры) - маятник качнулся обратно.
- #591827 мая 2026 г.2 738 views
В cвой личный slack добавил себе Notion бота из Notion Calendar, который…
В cвой личный slack добавил себе Notion бота из Notion Calendar, который собирает все встречи и присылает мне список на завтра и время во сколько вставать (за 15 минут до 1й встречи).
- #591726 мая 2026 г.2 052 views
Поиск работы за рубежом часто выглядит как хаос: десятки джоб-бордов, LinkedIn,…
Поиск работы за рубежом часто выглядит как хаос: десятки джоб-бордов, LinkedIn, рефералы, противоречивые советы В итоге можно месяцами что-то делать и не получать приглашений на интервью, а оффера ждать годами.
- #591625 мая 2026 г.1 775 views
Если вам интересен соревновательный ML — у Яндекса скоро завершается…
Если вам интересен соревновательный ML — у Яндекса скоро завершается регистрация на Yandex ML Challenge. Формат довольно приятный: длинный онлайн-тур без жёсткого тайминга на несколько часов. Можно спокойно подумать над решениями и потестить разные подходы.
- #591525 мая 2026 г.2 691 views
Собрал материал про AI workloads и видео карты на спутниках…
Собрал материал про AI workloads и видео карты на спутниках https://blog.playeronespace.com/p/brains-in-orbit-a-complete-guide Решил, что IoT спутниковая сеть это очень банально. Узнал про LEO PNT - gps на низкой орбите с точностью до см. Очень круто и дорого.
- #591422 мая 2026 г.1 429 views
Добавил пост про то, как и где учить Databricks…
Добавил пост про то, как и где учить Databricks https://blog.surfalytics.com/p/navigating-databricks-learning-a
- #591322 мая 2026 г.2 820 views
Отличный аргумент, что AI не заменит нас! А вы умеете кушать готовить?👀
Отличный аргумент, что AI не заменит нас! А вы умеете кушать готовить?👀
- #591221 мая 2026 г.1 886 views
Офер в Яндекс за выходные: 6–7 июня Если вы продуктовый, дата-аналитик или…
Офер в Яндекс за выходные: 6–7 июня Если вы продуктовый, дата-аналитик или датасаентист с опытом на Python от 3 лет, участвуйте в Weekend Offer Analytics.
- #591121 мая 2026 г.2 645 views
Добавил секцию блога к сайту. Начнем с базы, что такое спутник 🛰🛰…
Добавил секцию блога к сайту. Начнем с базы, что такое спутник 🛰🛰 https://blog.playeronespace.com/p/what-is-a-satellite
- #591020 мая 2026 г.3 129 views
За последнее время мне удалось пообщаться со многими компаниями…
За последнее время мне удалось пообщаться со многими компаниями Enterprise-уровня, и у всех одна и та же проблема — криво внедренный Databricks. Что значит криво? Значит неудобно и неинтуитивно. Почему так? Потому что «а кто ж его знает, как надо».
- #590920 мая 2026 г.2 323 views
Microsoft Fabric сложил все туториалы в одном месте…
Microsoft Fabric сложил все туториалы в одном месте https://community.fabric.microsoft.com/t5/Fabric-Updates-Blog/Fabric-Jumpstart-Discover-what-s-possible-with-Microsoft-Fabric/ba-p/5182277 Мне так и не довелось с ним поработать глубоко, а вам?
- #590818 мая 2026 г.1 443 views
Пример coding задачек для собеседования, но уже можно решать с AI. Пример от…
Пример coding задачек для собеседования, но уже можно решать с AI. Пример от Staff Engineer из Meta. То есть, вам нужно общаться с агентом и рассказывать, как вы думаете, как решаете задачу.
- #590717 мая 2026 г.3 210 views
Уважаемая команда по найму, Благодарю вас за интерес к отклонению моей заявки.…
Уважаемая команда по найму, Благодарю вас за интерес к отклонению моей заявки. Я ознакомился с вашим письмом об отказе и был впечатлён вашим процессом принятия решений и стремлением двигаться вперёд с другими кандидатами. Однако в этом году я получил уже немало писем с отказами.
- #590614 мая 2026 г.3 623 views
Приглашаем вас на совместный вебинар AXENIX и вендора BR Systems, посвященный…
Приглашаем вас на совместный вебинар AXENIX и вендора BR Systems, посвященный XLTable — OLAP‑системе с широким функционалом для работы с данными ClickHouse и Trino и поддержкой протокола XMLA в Excel.
- #590514 мая 2026 г.3 496 views
Как эффективно построить потоковый конвейер данных на базе Evolution Data…
Как эффективно построить потоковый конвейер данных на базе Evolution Data Platform ⤵️ Когда отчеты собираются часами, а решения принимаются по вчерашним данным, бизнес теряет скорость реагирования — а значит, и деньги.
- #590414 мая 2026 г.3 424 views
Сегодня столкнулся с интересным кейсом по Azure Databricks. Что дано: • 3 Azure…
Сегодня столкнулся с интересным кейсом по Azure Databricks. Что дано: • 3 Azure Subscriptions Dev/Test/Prod • 3 Azure Databricks Workspaces Все четко и понятно. Databricks уже давно использует Unity Catalog вместо обычного Hive. Кстати он есть open source.
- #590313 мая 2026 г.3 922 views
📌 Что вы делаете, когда классические A/B-тесты невозможны? Коллеги из Trisigma…
📌 Что вы делаете, когда классические A/B-тесты невозможны? Коллеги из Trisigma зовут на онлайн-митап как раз по таким ситуациям. 21 мая в 18:30 три спикера (из Авито, Finom и ex.
- #590213 мая 2026 г.4 365 views
Скоро учебники будут такие
Скоро учебники будут такие
- #590111 мая 2026 г.4 620 views
Сейчас в такое время живем, что вечером готовишься к встрече, которая должна…
Сейчас в такое время живем, что вечером готовишься к встрече, которая должна быть рано утром из-за того, что часть команды в Израиле, а на следующий день офис в Израиле закрывают, сотни человек на улице, митинг отменяется. PS цена акции не выросла:( Не работают старые методы.
- #59008 мая 2026 г.1 208 views
22 мая в Москве пройдёт уже седьмая конференция АНА'26 для тех, кто работает с…
22 мая в Москве пройдёт уже седьмая конференция АНА'26 для тех, кто работает с AI, ML и данными. Отличный повод: 🤝 познакомиться с людьми из индустрии 🎯 послушать живые use cases от команд Яндекса, Сбера, Авито, Wildberries, ВкусВилла и десятков других 🎁 собрать подарочки от…
- #58998 мая 2026 г.2 875 views
Робот готов! А вы говорите бесполезный generative AI
Робот готов! А вы говорите бесполезный generative AI
- #58977 мая 2026 г.3 122 views
2 картинки, одна про пост 2025 год, в котором говорится “покажи свой код” и…
2 картинки, одна про пост 2025 год, в котором говорится “покажи свой код” и другая свежая с take home assignment. И там и там идея в том, что сам код уже не важен. Важно уметь пользоваться современными инструментами и решать проблемы. Сейчас это ИИ агенты.
- #58967 мая 2026 г.3 223 views
10 готовых шаблонов дашбордов для разных C-level ролей от Cloud.ru 🌐 В новом…
10 готовых шаблонов дашбордов для разных C-level ролей от Cloud.ru 🌐 В новом практическом руководстве эксперты Cloud.ru отвечают на вопрос, как руководителю принимать решения быстрее.
- #58956 мая 2026 г.1 782 views
Альтернатива Claude Code - Pi agent.
Альтернатива Claude Code - Pi agent.
- #58946 мая 2026 г.3 012 views
Уверен, что меня читает много студентов с разных направлений, а у этих…
Уверен, что меня читает много студентов с разных направлений, а у этих читателей скорее всего еще и широкий круг общения. Поэтому этот пост для вас! Образовательный центр СИРИУС в г. Сочи запускает набор стажировок на летнюю июльскую проектную программу «Большие вызовы».
- #58936 мая 2026 г.3 038 views
"В сведенной статье от Pragmatic Engineer - The Pulse: token spend breaks…
"В сведенной статье от Pragmatic Engineer - The Pulse: token spend breaks budgets – what next? (Расходы на AI-токены выходят из-под контроля) рассказывают насколько проблема токенов становиться острой. Расходы на токены у многих компаний выросли до 10 раз за последние месяцы.
- #58925 мая 2026 г.2 338 views
Hightouch получил новый раунд инвестиций, на эти деньги они уже сняли офис в…
Hightouch получил новый раунд инвестиций, на эти деньги они уже сняли офис в San Francisco и начали хайрить куча людей. Все-таки с помощью vibe-coding reverse ETL не так гладко работает.
- #58912 мая 2026 г.2 018 views
Уже скоро можно перестать платить за токены.
Уже скоро можно перестать платить за токены.
- #58901 мая 2026 г.3 139 views
🟢 На вакансии отвлекаться - ~~не мешки ворочить~~ не прокачиваться на pet…
🟢 На вакансии отвлекаться - ~~не мешки ворочить~~ не прокачиваться на pet проектах и mock собеседованиях.
- #58891 мая 2026 г.3 316 views
Поделюсь своим недавним изменением в настройке рабочего пространства. 1. У меня…
Поделюсь своим недавним изменением в настройке рабочего пространства. 1. У меня было 2 больших монитора 32”, я понял, что я теряюсь в них. И каждый раз, когда выдергиваю USB-C у меня все окна перемешиваются.
- #588630 апр. 2026 г.3 649 views
Лето планируется busy, я попросил Gemini создать постер для всех событий, ведь…
Лето планируется busy, я попросил Gemini создать постер для всех событий, ведь это же business events (expenses)👉 Локально в BC: • 11 - 14 июня заплыв в лесах Британской Колумбии на каное, как первопроходцы (с детьми) • 3 - 7 июня заплыв на Paddle Board, настоящая экспедиция с…
- #588529 апр. 2026 г.3 334 views
Вроде все встает на свои места в дата командах. Чтобы хайпануть на AI, и…
Вроде все встает на свои места в дата командах. Чтобы хайпануть на AI, и получить ответ на все бизнес вопросы нужен не еще один дашборд, а chatgpt интерфейс, который не просто гоняет ваш MCP сервер и пытается угадать, как написать запрос, а использует семантический слой.
- #588429 апр. 2026 г.3 447 views
Добавил 3ю часть Data Ingestions Pattern - рассмотрели AWS Step Functions,…
Добавил 3ю часть Data Ingestions Pattern - рассмотрели AWS Step Functions, EventBridge. Рассмотрели, что, когда и как использовать (AWS Batch, Lambda, ECS/ECR, Step Functions) https://youtu.be/JjJ-Dszz1Co Дальше добавим Glue, Athena, Redshift Serverless и потом Streaming.
- #588328 апр. 2026 г.2 109 views
Отдельно прикрепляю дерево папок
Отдельно прикрепляю дерево папок
- #588128 апр. 2026 г.2 107 views
Пока еще не придумали ничего лучше и проще dbt фреймворка для SQL трансформаций…
Пока еще не придумали ничего лучше и проще dbt фреймворка для SQL трансформаций в хранилище данных. Из ближайших sqlmesh, но это learning curve. Всегда возникает вопрос в naming standards. Недавно подсмотрел отличный и понятный пример название папок и моделей в dbt.
- #588027 апр. 2026 г.3 253 views
Изучаем машинное обучение всё лето: Яндекс приглашает в Летний кампус…
Изучаем машинное обучение всё лето: Яндекс приглашает в Летний кампус ML-Академии Познакомьтесь с трендами ML‑индустрии и получите прикладной опыт в московском офисе Яндекса.
- #587826 апр. 2026 г.4 166 views
На рынке BI инструментов появился новый игрок про который я слышу все чаще…
На рынке BI инструментов появился новый игрок про который я слышу все чаще Omni. У них как раз уже был раунд. Использовали? У нас хотят в одном месте с Sigma BI на Omni пересесть, авось проблема с subscription metrics решиться там сама собой:)
- #587724 апр. 2026 г.5 112 views
Последние несколько недель я познакомил пару человек с Claude Code. До этого…
Последние несколько недель я познакомил пару человек с Claude Code. До этого они использовали AI на уровне “спросить ChatGPT”. Так как они далеки от традиционного ИТ, для них это было большим открытием и они смогли быстро реализовать свои идеи.
- #587623 апр. 2026 г.4 821 views
Так как компании активно бросились на внедрение AI, то ушлые менеджеры решили,…
Так как компании активно бросились на внедрение AI, то ушлые менеджеры решили, что надо отслеживать KPI - потребление токенов. Есть такое явление - «Эффект Кобры» (Cobra Effect) или Закон Гудхарта: «Когда метрика становится целью, она перестаёт быть хорошей метрикой».
- #587523 апр. 2026 г.4 030 views
Еще одно преимущество использования git и строить аналитические решения как…
Еще одно преимущество использования git и строить аналитические решения как код. То есть сохранять в репо все изменения. Даже если вы делаете ad-hoc вещи и отчеты. Пример - к вам приходит босс и говорит, напиши мне, что ты сделал в Q1 и что будешь делать в Q2.
- #587423 апр. 2026 г.4 376 views
Иногда обучение — это первый шаг к уровню, где тебя зовут в топовые компании…
Иногда обучение — это первый шаг к уровню, где тебя зовут в топовые компании Школа анализа данных от Яндекса — двухлетняя бесплатная программа по ML, Data Science, ИИ и большим данным. Фундаментальная подготовка и задачи из индустрии.
- #587323 апр. 2026 г.4 448 views
Классный бесплатный курс https://opencode.school/
Классный бесплатный курс https://opencode.school/
- #587222 апр. 2026 г.4 707 views
Как понять, что в компании, где вы работаете проблема? Достаточно просто: •…
Как понять, что в компании, где вы работаете проблема? Достаточно просто: • Начинают отслеживать вашу активность, сколько часов вы онлайн, сколько митингов провели и тп • Каждую неделю каждая команда должна писать детальный отчет о том, что было сделано • Вы перестаёте понимать,…
- #587122 апр. 2026 г.4 813 views
Лучший способ экономить на токенах. Да еще можно людям помочь карьеру устроить.…
Лучший способ экономить на токенах. Да еще можно людям помочь карьеру устроить. Объединяйтесь против машин и берите на работу junior!
- #587022 апр. 2026 г.4 368 views
"Аналитика, DWH и OLAP-нагрузки растут, и базы начинают упираться в дисковую…
"Аналитика, DWH и OLAP-нагрузки растут, и базы начинают упираться в дисковую подсистему… Для таких задач Selectel добавили новую конфигурацию Mega в базы данных на выделенных облачных серверах.
- #586921 апр. 2026 г.4 644 views
Я провел следующую часть воркшопа про Data Ingestion Patterns | Part 2- в нем…
Я провел следующую часть воркшопа про Data Ingestion Patterns | Part 2- в нем добавил другой метод создания AWS Lambda, рассмотрели AWS Batch, AWS ECR (container registry) и AWS ECS (Container Service). Как обычно использовали Claude Code и Infra as a Code с AWS Cloud Formation.
- #586821 апр. 2026 г.4 629 views
Исследование про облачную инфраструктуру в работе с данными Apple Hills Digital…
Исследование про облачную инфраструктуру в работе с данными Apple Hills Digital проводит опрос среди data engineers, аналитиков и специалистов, работающих с данными.
- #586720 апр. 2026 г.4 759 views
23 апреля в Санкт-Петербурге пройдет вечерний митап для аналитиков — Analytics…
23 апреля в Санкт-Петербурге пройдет вечерний митап для аналитиков — Analytics Party. Присоединяйтесь, чтобы вместе с экспертами поговорить о решениях сложных продуктовых и исследовательских задач — от оценки безопасности автопилота до экспериментов без A/B-тестов.
- #586417 апр. 2026 г.1 396 views
Запись нашего разговора про выгорание, как его распознать и как с ним бороться.…
Запись нашего разговора про выгорание, как его распознать и как с ним бороться. https://youtu.be/vmjZgpMFrUo
- #586316 апр. 2026 г.2 729 views
Дата-инженер, пора на прокачку Если хотите в 2026 не просто “поддерживать…
Дата-инженер, пора на прокачку Если хотите в 2026 не просто “поддерживать пайплайны”, а лучше понимать архитектуру, ускорять разработку и принимать более сильные технические решения — регистрируйтесь на серию вебинаров от команды Дата-сервисов VK Tech.
- #586216 апр. 2026 г.3 040 views
Модель вашей жизни Иван Крутко сделал хорошее интервью. Важная мысль -- мы не…
Модель вашей жизни Иван Крутко сделал хорошее интервью. Важная мысль -- мы не объекты, мы субъекты своей жизни. Плохо получится само, над хорошим надо работать. Я искренне поделился своими мыслями О предпринимательстве и бизнесе.
- #586115 апр. 2026 г.3 463 views
Андрей Карпатый разделяет пользователей на 2 группы Первая проблема, на мой…
Андрей Карпатый разделяет пользователей на 2 группы Первая проблема, на мой взгляд, — это актуальность и уровень использования. Думаю, многие попробовали бесплатный тариф ChatGPT где-то в прошлом году и позволили этому опыту слишком сильно повлиять на их взгляды на ИИ.
- #586015 апр. 2026 г.3 504 views
До сих пор разворачиваете PostgreSQL вручную? Сэкономьте силы для задач…
До сих пор разворачиваете PostgreSQL вручную? Сэкономьте силы для задач разработки. 21 апреля в 16:00 (мск) пройдёт вебинар от MWS Cloud Platform, где эксперты компании расскажут, как получить готовую базу для бэкенда за несколько минут.
- #585914 апр. 2026 г.3 636 views
21 апреля пройдет митап «Лаборатория решений DataLens» — офлайн-встреча про BI…
21 апреля пройдет митап «Лаборатория решений DataLens» — офлайн-встреча про BI и аналитику данных 📍 Москва, Loft Hall (Avantage) 🕓 Сбор с 16:30, старт в 17:00 Формат: бизнес-команды заранее поделились своими задачи, а эксперты из p Навикон, КОРУС Консалтинг, Смарт-Аналитикс и…
- #585813 апр. 2026 г.4 096 views
Кто не приходил в зум, многое пропустил🫣🤯 Давайте продолжим в meet Update:…
Кто не приходил в зум, многое пропустил🫣🤯 Давайте продолжим в meet Update: ссылку убрал.