Содержание
pga_snapshotpga_snapshot_changespga_schemapga_tablepga_storagepga_uripga_folderpga_columnpga_data_filepga_files_scheduled_for_deletionpga_table_statspga_table_column_statspga_file_column_statisticspga_transaction_logМетаданные из таблиц метаданных pgpro_metastore необходимы для обеспечения следующей функциональности:
Создание аналитических представлений.
Запросы к аналитическим таблицам с секционированием и индексами для Parquet-файлов.
Поддержка базовых ETL-операций:
выполнение ETL-операций;
планирование ETL-операций на определённую дату и время, а также настройка последовательного выполнения (одной операции за другой);
ограничение ресурсов, доступных для выполнения ETL-операций, чтобы избежать увеличения OLTP-нагрузки.
Работа с OLAP-данными:
создание Parquet-файлов с OLAP-данными из таблиц Postgres Pro и импорт этих данных в аналитические таблицы;
экспорт OLAP-данных из аналитических таблиц в файлы в форматах Parquet, CSV и JSON;
создание отчётов с отфильтрованными OLAP-данными с помощью SQL-запросов.
Изменение объектов pgpro_metastore в рамках транзакций, а также согласованные изменения аналитических таблиц при чтении и записи.
Проверка целостности данных и восстановление Parquet-файлов из резервных копий или с помощью зеркал S3-хранилищ.
Мониторинг pgpro_metastore и уведомление администраторов о событиях, срочно требующих внимания.
Распределение Parquet-файлов по отдельным хранилищам во избежание конкуренции с OLTP-нагрузкой за пропускную способность ввода-вывода.
Схема таблиц метаданных представлена на диаграмме ниже.