Крутой пример типичной задачи для Дата Инженера! Есть два ~~стула~~ датасета формата XML. Один 60Гб, другой 400Мб. Надо взять последние 2 года из первого и сджойнить со вторым. В чем сложности? 60 гигов в формате XML это просто один большой кусок файла. Он не разбит на партции, не имеет в комплекте готовую схему данных + внутри некоторые значения полей могут быть не совсем валидны (в поле год, может стоять не дата, а номер). С файликом в 400Мб все ок, он без дубликатов и с хорошим качеством - ну это считайте словарик. Я описал в roadmap этот пет проект, можете смело брать и тестировать, реально коммерческий пример сборки витрины данных. Что уже есть внутри: - Пример кода для сборки витрин на PySpark - Пример чтения XML и сохранения в parquet - Уже готовый датасет в формате parquet ➡️ еще раз, вот ссылка на пет проект - Проект №5 - Сборка витрины на Spark ——- P.S. кстати, если хотите сказать спасибо roadmap, то вот ссылка