To whom it may consern Книга посвящена эволюции роли data engineer — инженера по данным — в современных организациях. В ней рассматривается, как изменились задачи специалистов по работе с данными с появлением больших данных, облачных сервисов и новых моделей хранения. Описываются ключевые обязанности data engineer: сбор, очистка, преобразование, каталогизация, хранение и защита данных, а также автоматизация и оркестрация процессов. Особое внимание уделяется сравнению традиционных ролей (DBA, ETL-разработчик) с современными практиками, инструментам (Kafka, Spark, Presto), вопросам безопасности, масштабируемости, выбору форматов хранения (Parquet, Avro, ORC), обеспечению соответствия требованиям (GDPR, HIPAA) и внедрению лучших практик для построения надежных и эффективных пайплайнов данных. Книга предназначена для инженеров, разработчиков, аналитиков и менеджеров, которым важно понимать современные подходы к работе с данными в бизнесе.