"qvd — чтение Qlik QVD файлов из Python и SQL Написал open-source библиотеку для работы с QVD файлами без Qlik. Ядро на Rust, биндинги для Python. Что умеет: pandas / Polars / DuckDB — одной строкой: `df = qvd.read_qvd(""data.qvd"").to_pandas() df = qvd.read_qvd(""data.qvd"").to_polars() batch = qvd.read_qvd_to_arrow(""data.qvd"") duckdb.sql(""SELECT * FROM batch WHERE x > 100"")` SQL-запросы к QVD через DataFusion — JOIN, GROUP BY, агрегации прямо по QVD файлам Конвертация QVD ↔ Parquet — с компрессией (snappy, zstd, gzip, lz4) Streaming — чтение огромных файлов по чанкам, без загрузки в память EXISTS() — O(1) хеш-индекс, как в Qlik Скорость (проверено на 20 реальных файлах, byte-identical round-trip): - 41 МБ / 465K строк / 12 колонок — чтение 0.5с, запись 0.03с - 587 МБ / 5.4M строк / 15 колонок — чтение 6.1с, запись 0.4с - 1.7 ГБ / 87M строк / 6 колонок — чтение 37с, запись 1.6с - 2.8 ГБ / 11.9M строк / 42 колонки — чтение 24с, запись 2.4с Первый и единственный QVD crate на crates.io. `pip install qvdrs` https://github.com/bintocher/qvdrs https://crates.io/crates/qvd ———— Подпишись, потом забудешь! https://max.ru/join/U4r4IN8vgLwYowRRsU42LWb5HmsSOSvy4ExmqTSQ0yc https://vk.com/chernovdev https://dzen.ru/chernovdev"
"qvd — чтение Qlik QVD файлов из Python и SQL Написал open-source библиотеку…
Из этого канала
- #1080Котятки🐱, В этом сезоне у меня новый интерес - Decision‑Centric Visual…
Котятки🐱, В этом сезоне у меня новый интерес - Decision‑Centric Visual Interfaces (DCVI).
- #1081Котятки, В прошлом, аналитика данных из 1С была нетривиальной задачкой, и выбор…
Котятки, В прошлом, аналитика данных из 1С была нетривиальной задачкой, и выбор обычно стоял между двух зол: либо пиши обработки, либо разрабатывай свои…
- #1082Котятки🐱 Концепция Enterprise Intelligence не нова, особенно для тех, кто…
Котятки🐱 Концепция Enterprise Intelligence не нова, особенно для тех, кто активно ищет способы, как превратить данные в знания.
- #1078Нашла эту книгу на одной уютной кухне, не смогла с вами не поделиться👆
Нашла эту книгу на одной уютной кухне, не смогла с вами не поделиться👆
- #1076Котятки, Мне очень понравилась вот эта статья по масштабированию данных.…
Котятки, Мне очень понравилась вот эта статья по масштабированию данных. Аккурат как раз когда я решаю вопрос о горизонте хранения:…