Controlando a sincronização de um ClickPipe do MySQL
Documento para controlar a sincronização de um ClickPipe do MySQL
Este documento descreve como controlar a sincronização de um ClickPipe do MySQL quando o ClickPipe está no modo CDC (em execução).
As ClickPipes de banco de dados têm uma arquitetura composta por dois processos paralelos: extrair do banco de dados de origem e enviar para o banco de dados de destino. O processo de extração é controlado por uma configuração de sincronização que define com que frequência os dados devem ser extraídos e quanto dado deve ser extraído por vez. Por “por vez”, queremos dizer um lote — já que o ClickPipe extrai e envia dados em lotes.
Há duas maneiras principais de controlar a sincronização de um ClickPipe do MySQL. O ClickPipe começará a enviar quando uma das configurações abaixo for acionada.
O intervalo de sincronização do pipe é o período de tempo (em segundos) durante o qual o ClickPipe extrairá registros do banco de dados de origem. O tempo necessário para enviar ao ClickHouse os dados coletados não está incluído nesse intervalo.
O padrão é 1 minuto.
O intervalo de sincronização pode ser definido como qualquer número inteiro positivo, mas é recomendável mantê-lo acima de 10 segundos.
O tamanho do lote de extração é o número de registros que o ClickPipe extrairá do banco de dados de origem em um único lote. Por registros, entendem-se inserções, atualizações e exclusões realizadas nas tabelas que fazem parte do pipe.
O padrão é 100.000 registros.
Um máximo seguro é de 10 milhões.
Quando uma transação é executada no banco de dados de origem, o ClickPipe aguarda receber o COMMIT da transação antes de prosseguir. Isso se sobrepõe tanto ao intervalo de sincronização quanto ao tamanho do lote de extração.
Você pode definir o intervalo de sincronização e o tamanho do lote de extração ao criar um ClickPipe ou editar um já existente.
Ao criar um ClickPipe, essa opção aparece na segunda etapa do assistente de criação, como mostrado abaixo:
Ao editar um ClickPipe existente, vá até a aba Settings do pipe, pause o pipe e clique em Configure aqui:
Isso abrirá um painel lateral com as opções de sincronização, onde você pode alterar o intervalo de sincronização e o tamanho do lote de extração:
Você pode ver quanto tempo cada lote leva na tabela CDC Syncs, na aba Métricas do ClickPipe. Observe que a duração aqui inclui o tempo de envio e que, se nenhuma linha chegar, o ClickPipe aguarda — e esse tempo de espera também é incluído na duração.
Última modificação em 10 de junho de 2026