Control de la sincronización de un ClickPipe de MongoDB
Documento sobre cómo controlar la sincronización de un ClickPipe de MongoDB
Este documento describe cómo controlar la sincronización de un ClickPipe de MongoDB cuando el ClickPipe está en modo CDC (Running).
Los ClickPipes para bases de datos tienen una arquitectura compuesta por dos procesos paralelos: extraer datos de la base de datos de origen y enviarlos a la base de datos de destino. El proceso de extracción está controlado por una configuración de sincronización que define con qué frecuencia se deben extraer los datos y cuántos datos se deben extraer en cada ocasión. Con “en cada ocasión”, nos referimos a un lote, ya que el ClickPipe extrae y envía datos en lotes.
Hay dos formas principales de controlar la sincronización de un ClickPipe de MongoDB. El ClickPipe comenzará a enviar datos cuando entre en vigor una de las siguientes opciones.
El intervalo de sincronización del pipe es el tiempo (en segundos) durante el cual ClickPipe extraerá registros de la base de datos de origen. El tiempo necesario para enviar a ClickHouse los datos obtenidos no se incluye en este intervalo.
El valor predeterminado es 1 minuto.
El intervalo de sincronización puede establecerse en cualquier entero positivo, pero se recomienda mantenerlo por encima de los 10 segundos.
El tamaño del lote de extracción es el número de registros que ClickPipe extraerá de la base de datos de origen en un solo lote. Los registros incluyen inserciones, actualizaciones y eliminaciones realizadas en las colecciones que forman parte del pipe.
El valor predeterminado es 100,000 registros.
Un máximo seguro es de 10 millones.
Puede establecer el intervalo de sincronización y el tamaño del lote de extracción al crear un ClickPipe o editar uno existente.
Al crear un ClickPipe, esto aparecerá en el segundo paso del asistente de creación, como se muestra a continuación:
Al editar un ClickPipe existente, puede ir a la pestaña Settings del pipe, pausar el pipe y luego hacer clic en Configure aquí:
Esto abrirá un panel lateral con los ajustes de sincronización, donde puede cambiar el intervalo de sincronización y el tamaño del lote de extracción:
Puede ver cuánto tarda cada lote en la tabla CDC Syncs de la pestaña Metrics de ClickPipe. Tenga en cuenta que la duración aquí incluye el tiempo de envío y que, si no llegan filas, ClickPipe espera, y ese tiempo de espera también se incluye en la duración.
Última modificación el 10 de junio de 2026