Как вставить данные из PostgreSQL

Страница с описанием того, как вставить данные из PostgreSQL с помощью ClickPipes, PeerDB или табличной функции Postgres

Мы рекомендуем прочитать это руководство, чтобы ознакомиться с лучшими практиками вставки данных в ClickHouse и оптимизировать производительность вставки.

Для массовой загрузки данных из PostgreSQL можно использовать:

• ClickPipes — управляемый сервис интеграции для ClickHouse Cloud.
• PeerDB by ClickHouse — ETL-инструмент, специально разработанный для репликации баз данных PostgreSQL как в самоуправляемый ClickHouse, так и в ClickHouse Cloud.
• Табличную функцию Postgres для прямого чтения данных. Обычно этот вариант подходит, если достаточно батч-репликации на основе известной водяной метки, например временной метки, или если речь идет о разовой миграции. Этот подход масштабируется до десятков миллионов строк. Если вам нужно перенести более крупные наборы данных, стоит рассмотреть несколько запросов, каждый из которых обрабатывает фрагмент данных. Для каждого фрагмента можно использовать staging-таблицы перед переносом его партиций в итоговую таблицу. Это позволяет повторно выполнять запросы, завершившиеся ошибкой. Дополнительные сведения об этой стратегии массовой загрузки см. здесь.
• Данные можно экспортировать из Postgres в формате CSV. Затем их можно вставить в ClickHouse либо из локальных файлов, либо через Объектное хранилище с помощью табличных функций.