Сеньорские вопросы 🤵 Чем круче вы становитесь, чем в более highload сторону вы идете, чем быстрее развиваются ллмки, тем вопросики к вам становятся все серьезнее Собрала для вас подборку таких вопросов по технологиям: ✨ Spark Из чего состоит executor memory? Что такое spark.memory.storageFraction? В чем разница между Sort-Merge Join и Broadcast на маленькой таблице? Каким образом уменьшить количество шафла? Зачем нужен data spill? Как работает AQE? Какие проблемы спарка в кубере? 🧊Iceberg Как айсберг работает с параллельным изменением одного файла и нескольких? Почему при записи из старой таблицы в новую в айсберге джоба бежит очень долго?  Почему при перекладке в айсберг забивается кэш? Какие проблемы с айсбергом, кроме maintenance? 🌺 Airflow, Python Что такое TYPE_CHECKING? Как добавить шаблонизированное поле, если оператор не поддерживает jinja? Что такое dynamic task mapping? 🖥 ClickHouse Если данные писались в одну ноду клика, то при ее падении какие данные будут лежать на остальных? Какие проблемы с Replacing Merge Tree при вставке 5тб данных? 300 колонок, 8 ключей - в чем проблема такого подхода и как лучше поменять? 🧘Kafka Как интеграция Spark-Kafka умеет обеспечивать exactly once? Как будет читать спарк из кафки, если 10 коров, 5 партиций? Сколько будет простаивать экзекьюторов? Как будет читаться таблица в спарке, если 1ТБ один файл, 20 коров? Сколько будет простаивать экзекьюторов? Как будут читать 10 инстансов приложения из 5 партиций? @data_engineerette