Управление синхронизацией Postgres ClickPipe
Документация по управлению синхронизацией Postgres ClickPipe
В этом документе описано, как контролировать синхронизацию Postgres ClickPipe, когда ClickPipe находится в режиме CDC (Running).
У ClickPipes для баз данных архитектура состоит из двух параллельных процессов — чтения из исходной базы данных и записи в целевую базу данных. Процесс чтения управляется конфигурацией синхронизации, которая определяет, как часто нужно считывать данные и какой объём данных следует считывать за один раз. Под «за один раз» здесь имеется в виду один батч, поскольку ClickPipe считывает и отправляет данные батчами.
Есть два основных способа управлять синхронизацией Postgres ClickPipe. ClickPipe начнёт отправлять данные, когда сработает один из параметров ниже.
Интервал синхронизации пайпа — это время (в секундах), в течение которого ClickPipe получает записи из исходной базы данных. Время, необходимое для отправки полученных данных в ClickHouse, в этот интервал не входит.
По умолчанию используется значение 1 минута.
Интервал синхронизации можно задать любым положительным целым числом, но рекомендуется устанавливать значение не меньше 10 секунд.
Размер батча Pull — это количество записей, которое ClickPipe извлекает из исходной базы данных за один батч. Под записями здесь подразумеваются операции вставки, обновления и удаления, выполняемые в таблицах, входящих в этот пайп.
Значение по умолчанию — 100,000 записей.
Безопасный максимум — 10 миллионов.
Когда в исходной базе данных выполняется транзакция, ClickPipe ждет, пока не получит COMMIT этой транзакции, прежде чем продолжить работу. Это имеет приоритет над и интервалом синхронизации, и размером pull-батча.
Вы можете задать интервал синхронизации и размер pull-батча при создании ClickPipe или редактировании существующего.
При создании ClickPipe эти параметры отображаются на втором шаге мастера создания, как показано ниже:
При редактировании существующего ClickPipe перейдите на вкладку Настройки пайпа, приостановите пайп, а затем нажмите здесь Настроить:
Откроется выдвижная панель с параметрами синхронизации, где можно изменить интервал синхронизации и размер pull-батча:
Разберём, как с помощью этих настроек работать с большим слотом репликации у CDC-пайпа.
Время отправки данных в ClickHouse не растёт линейно относительно времени их получения из исходной базы данных. Это можно использовать, чтобы уменьшить размер большого слота репликации.
Если одновременно увеличить интервал синхронизации и размер pull-батча, ClickPipe сможет за один раз забрать из исходной базы данных большой объём данных, а затем отправить его в ClickHouse.
Вы можете увидеть, сколько времени занимает каждый батч, в таблице CDC Syncs на вкладке Метрики в ClickPipe. Обратите внимание, что продолжительность здесь включает время отправки; кроме того, если новые строки не поступают, ClickPipe ждёт, и это время ожидания тоже включается в общую продолжительность.
Последнее изменение 10 июня 2026 г.