pgpro_metastore — расширение Postgres Pro для обработки и хранения OLAP-данных.
Это расширение позволяет управлять аналитическими таблицами с OLAP-данными. Строки аналитических таблиц размещаются в виде Parquet-файлов в локальном, сетевом или S3-хранилище. Метаданные аналитических таблиц хранятся в таблицах метаданных (для соответствия требованиям спецификации DuckLake).
Расширение pgpro_metastore предоставляет следующие преимущества:
Ускорение выполнения аналитических запросов в 10–30 раз и уменьшение объёма сохраняемых OLAP-данных в 5–10 раз по сравнению с таблицами-кучами.
Использование инструментов, совместимых с Parquet, таких как Jupyter и Notebook, для обработки OLAP-данных.
Неограниченные возможности масштабирования хранилищ для увеличения объёма сохраняемых OLAP-данных и ускорения доступа к ним.
Независимый механизм масштабирования вычислительных ресурсов хранилищ.
Прозрачную схему каталогов, которая обеспечивает гибкий выбор сценариев обработки OLAP-данных с использованием необходимых инструментов.
Гибкую настройку ограничений доступа к хранилищам, аналогичную Postgres Pro.
Изменения данных в рамках транзакций и согласованность между OLAP-данными и метаданными.
Транзакции с постоянными идентификаторами, которые позволяют запрашивать OLAP-данные и метаданные на основе определённых идентификаторов и восстанавливать данные на определённый момент времени.
Сбор статистики для всех столбцов и транзакций, что позволяет запрашивать необходимые Parquet-файлы.
Содержание
pga_snapshotpga_snapshot_changespga_schemapga_tablepga_storagepga_uripga_folderpga_columnpga_data_filepga_files_scheduled_for_deletionpga_table_statspga_table_column_statspga_file_column_statisticspga_transaction_log