Controle da sincronização de um ClickPipe do Postgres
Documentação para controlar a sincronização de um ClickPipe do Postgres
Este documento descreve como controlar a sincronização de um ClickPipe do Postgres quando ele está no modo CDC (em execução).
Os ClickPipes de banco de dados têm uma arquitetura composta por dois processos paralelos: extração do banco de dados de origem e envio para o banco de dados de destino. O processo de extração é controlado por uma configuração de sincronização que define com que frequência os dados devem ser extraídos e qual volume de dados deve ser extraído por vez. Por “por vez”, queremos dizer um lote, já que o ClickPipe extrai e envia dados em lotes.
Há duas formas principais de controlar a sincronização de um ClickPipe do Postgres. O ClickPipe começará a enviar quando uma das configurações abaixo for acionada.
O intervalo de sincronização do pipe é o período (em segundos) durante o qual o ClickPipe extrairá registros do banco de dados de origem. O tempo necessário para enviar o que foi extraído para o ClickHouse não está incluído nesse intervalo.
O padrão é 1 minuto.
O intervalo de sincronização pode ser definido como qualquer número inteiro positivo, mas recomenda-se mantê-lo acima de 10 segundos.
O tamanho do lote de extração é o número de registros que o ClickPipe extrairá do banco de dados de origem em um lote. Registros incluem inserções, atualizações e exclusões feitas nas tabelas que fazem parte do pipe.
O padrão é de 100.000 registros.
Um máximo seguro é de 10 milhões.
Quando uma transação está em execução no banco de dados de origem, o ClickPipe aguarda até receber o COMMIT da transação antes de prosseguir. Isso substitui tanto o intervalo de sincronização quanto o tamanho do lote de extração.
Você pode definir o intervalo de sincronização e o tamanho do lote de extração ao criar um ClickPipe ou editar um já existente.
Ao criar um ClickPipe, essas opções aparecem na segunda etapa do assistente de criação, como mostrado abaixo:
Ao editar um ClickPipe existente, vá até a guia Settings do pipe, pause-o e clique em Configure aqui:
Isso abrirá um painel lateral com as configurações de sincronização, onde você pode alterar o intervalo de sincronização e o tamanho do lote de extração:
Veja como usar essas configurações para lidar com um slot de replicação grande em um pipe de CDC.
O tempo de envio para o ClickHouse não aumenta linearmente em relação ao tempo de extração do banco de dados de origem. Isso pode ser aproveitado para reduzir o tamanho de um slot de replicação grande.
Ao aumentar tanto o intervalo de sincronização quanto o tamanho do lote de extração, o ClickPipe vai extrair uma grande quantidade de dados do banco de dados de origem de uma só vez e, em seguida, enviá-los para o ClickHouse.
Você pode ver quanto tempo cada lote leva na tabela CDC Syncs, na aba Métricas do ClickPipe. Observe que a duração aqui inclui o tempo de envio e, se não houver linhas chegando, o ClickPipe fica aguardando — esse tempo de espera também é incluído na duração.
Última modificação em 10 de junho de 2026