Controle da sincronização de um ClickPipe do MongoDB
Documento para controlar a sincronização de um ClickPipe do MongoDB
Este documento descreve como controlar a sincronização de um ClickPipe do MongoDB quando ele está no modo CDC (em execução).
Os ClickPipes de banco de dados têm uma arquitetura composta por dois processos paralelos: extrair do banco de dados de origem e enviar para o banco de dados de destino. O processo de extração é controlado por uma configuração de sincronização que define com que frequência os dados devem ser extraídos e quanto deve ser extraído por vez. Com “por vez”, queremos dizer um lote, já que o ClickPipe extrai e envia dados em lotes.
Há duas formas principais de controlar a sincronização de um ClickPipe do MongoDB. O ClickPipe começará a enviar quando uma das configurações abaixo for acionada.
O intervalo de sincronização do pipe é o período de tempo (em segundos) durante o qual o ClickPipe extrairá registros do banco de dados de origem. O tempo necessário para enviar ao ClickHouse o que foi coletado não está incluído nesse intervalo.
O padrão é 1 minuto.
O intervalo de sincronização pode ser definido como qualquer número inteiro positivo, mas é recomendável mantê-lo acima de 10 segundos.
O tamanho do lote de extração é o número de registros que o ClickPipe vai extrair do banco de dados de origem em um único lote. Por registros, entendem-se inserções, atualizações e exclusões feitas nas coleções que fazem parte do pipe.
O padrão é 100.000 registros.
Um máximo seguro é de 10 milhões.
Você pode definir o intervalo de sincronização e o tamanho do lote de extração ao criar um ClickPipe ou editar um já existente.
Ao criar um ClickPipe, essas opções aparecem na segunda etapa do assistente de criação, como mostrado abaixo:
Ao editar um ClickPipe existente, vá até a aba Configurações do pipe, pause o pipe e clique em Configurar aqui:
Isso abrirá um painel lateral com as configurações de sincronização, onde você poderá alterar o intervalo de sincronização e o tamanho do lote de extração:
Você pode ver quanto tempo cada lote demora na tabela CDC Syncs, na aba Metrics do ClickPipe. Observe que a duração aqui inclui o tempo de envio e que, se não houver linhas chegando, o ClickPipe fica aguardando, e esse tempo de espera também é incluído na duração.
Última modificação em 10 de junho de 2026