О каталоге Greenplum (2) Начало Какая мораль у этой статьи про распухшие каталоги Гринплама. Следите, следите и еще раз следите за вашим каталогом! Бытовые рекомендации. 1️⃣Объем pg_catalog и его динамику - на мониторинг если еще не. 2️⃣Не жестите с параллелизмом сегментов. 2-3 праймари на большую ВМ или даже железный сегмент-сервер вполне ОК. Эта же рекомендация поможет легко проглатывать пики параллелизма нагрузки и упростит настройку ресурсных групп. 3️⃣Не жестите с партициями. Схлопнуть где-то партиции с дня до месяца - это нормально и оправдано. Проще где-то поднять лишние данные с дисков сегментов в некоторых запросах, чем нагружать каталог на мастере, который нужен при вообще каждом запросе 4️⃣Вакуум таблиц каталога - первейшая задача. А также реиндексы и т.д. Это тяжелая операция, которая блокирует кластер, поэтому многие ее не делают - неудобно и пользователи негодуют. Но надо! 5️⃣ETL, где по любому чиху работают с партициями на удаление/замену, сильно нагружает каталог. pg_attribute все еще постгресовая таблица, подверженная блоату и расдуванию индеков. А вы из нее удаляете-добавляете строки сотнями на каждый чих. Просто сделайте Trucate insert и не мучайте беднягу. То же с созданием и удалением различных временных объектов. 6️⃣Мелкие таблицы проще сделать строчными, а не колоночными. То же и со временными. Будет одна запись на таблицу, а не на колонку таблицы.
О каталоге Greenplum (2) Начало Какая мораль у этой статьи про распухшие…
Из этого канала
- #237О каталоге Greenplum (3) Насколько реально может распухать количество файлов.…
О каталоге Greenplum (3) Насколько реально может распухать количество файлов. Пример относительно небольшого облачного кластера на 8 ТБ полезных сжатых данных…
- #240Приветствую всех новоприбывших! Спасибо что присоединились! В предыдущих сериях…
Приветствую всех новоприбывших! Спасибо что присоединились! В предыдущих сериях про Лейкхаус или плейлист полезных видео. Первое.
- #241Комичусь Никогда в этом канале не появится текста, сгенерированного нейронкой.…
Комичусь Никогда в этом канале не появится текста, сгенерированного нейронкой. Признаюсь, в эпоху нейросетей я отчаянный ретроград.
- #235О каталоге Greenplum (1) В сообществах Greenplum обсуждают хабростатью. Я такой…
О каталоге Greenplum (1) В сообществах Greenplum обсуждают хабростатью. Я такой себе Greenplum DBA, но позволю себе небольшой коментарий.
- #234LLM over BI - надо ли? Тут Дима Аношин пишет про замену классического Business…
LLM over BI - надо ли? Тут Дима Аношин пишет про замену классического Business Intelligence на бездушного бота в слаке.