DuckDB 2.0 ⚡️ Async I/O: S3 в 2–3 раза быстрее Раньше каждый поток по очереди качал данные и декодировал их, поэтому CPU простаивал, пока ждал сеть. Теперь отдельный пул заранее подгружает row groups, а воркеры только декодируют. Запрос к 2,2 ГБ Parquet: 18,8 с → 7,7 с. Включено по умолчанию, в коде ничего менять не нужно (read_ahead_depth). Тысячи мелких файлов по 1 МБ это не спасёт, так что фундамент всё ещё важен. 🌳 Рекурсивные CTE: глубокие иерархии летают Раньше на каждом шаге рекурсии таблица перечитывалась целиком. Теперь она читается один раз, а дальше идут точечные lookup'ы. Обход истории из 20 000 коммитов: было от 1,8 до 16 с, стало 0,1 с. Хорошо подходит для git-истории, lineage, тредов и BOM. Для неглубокой оргструктуры разницы почти не будет. 📦 VARIANT вместо JSON JSON-поля с постоянной структурой автоматически раскладываются в настоящие колонки (shredding), а остальное хранится бинарным хвостом. Результат: в 2,7 раза меньше места, чем у JSON-строки, и фильтры примерно в 6 раз быстрее, почти как у типизированных колонок. Есть нюанс: касты списков пока медленные, а поле, которое то число, то строка, в колонку не попадёт.
DuckDB 2.0 ⚡️ Async I/O: S3 в 2–3 раза быстрее Раньше каждый поток по очереди…
Из этого канала
- #6176🧩 Antifraud Scientist @ Higgsfield AI Higgsfield AI — самая быстрорастущая…
🧩 Antifraud Scientist @ Higgsfield AI Higgsfield AI — самая быстрорастущая AI-компания в истории.
- #6177Очень классный концепт, когда обычный и скучный продукт для reverse etl решил…
Очень классный концепт, когда обычный и скучный продукт для reverse etl решил пойти в бизнес и предложить маркетинговую автоматизацию.
- #6178Мне очень приятно, когда люди делаю транскрипцию собеседований и скидывают…
Мне очень приятно, когда люди делаю транскрипцию собеседований и скидывают вопросы и задания в Surfalytics Discord.
- #6172День из жизни ребенка 9 лет: Сегодня не пошел в школу, чтобы пропустить урок…
День из жизни ребенка 9 лет: Сегодня не пошел в школу, чтобы пропустить урок «сексуального образования» и остался дома, чтобы с помощью Claude Code создавать…
- #6171На этой неделе у нас случилась победа. Настоящая, с письмом на целый орг.…
На этой неделе у нас случилась победа. Настоящая, с письмом на целый орг. Сканер безопасности (с AI, конечно) нашёл две старые виртуальные машины.