Control de la sincronización de un ClickPipe de Postgres
Documento sobre cómo controlar la sincronización de un ClickPipe de Postgres
Este documento describe cómo controlar la sincronización de un ClickPipe de Postgres cuando el ClickPipe se encuentra en modo CDC (en ejecución).
Los ClickPipes para bases de datos tienen una arquitectura compuesta por dos procesos paralelos: extraer datos de la base de datos de origen y enviarlos a la base de datos de destino. El proceso de extracción está controlado por una configuración de sincronización que define con qué frecuencia deben extraerse los datos y cuántos datos deben extraerse en cada ocasión. Con “en cada ocasión”, nos referimos a un lote, ya que ClickPipe extrae y envía los datos en lotes.
Hay dos formas principales de controlar la sincronización de un ClickPipe de Postgres. El ClickPipe comenzará a enviar datos cuando entre en acción una de las siguientes configuraciones.
El intervalo de sincronización del pipe es el período de tiempo (en segundos) durante el cual ClickPipe extraerá registros de la base de datos de origen. El tiempo necesario para enviar a ClickHouse los datos obtenidos no se incluye en este intervalo.
El valor predeterminado es 1 minuto.
El intervalo de sincronización puede establecerse en cualquier valor entero positivo, pero se recomienda mantenerlo por encima de los 10 segundos.
El tamaño del lote de extracción es la cantidad de registros que ClickPipe extraerá de la base de datos de origen en cada lote. Por registros se entienden las inserciones, actualizaciones y eliminaciones realizadas en las tablas que forman parte del pipe.
El valor predeterminado es de 100,000 registros.
Un máximo seguro es de 10 millones.
Cuando se ejecuta una transacción en la base de datos de origen, ClickPipe espera a recibir el COMMIT de la transacción antes de continuar. Esto prevalece sobre tanto el intervalo de sincronización como el tamaño del lote de extracción.
Puede establecer el intervalo de sincronización y el tamaño del lote de extracción al crear un ClickPipe o editar uno existente.
Al crear un ClickPipe, estas opciones aparecen en el segundo paso del asistente de creación, como se muestra a continuación:
Al editar un ClickPipe existente, puede ir a la pestaña Settings del pipe, pausar el pipe y, a continuación, hacer clic en Configure aquí:
Esto abrirá un panel lateral con los ajustes de sincronización, donde puede cambiar el intervalo de sincronización y el tamaño del lote de extracción:
Veamos cómo usar esta configuración para gestionar un slot de replicación grande de un pipe de CDC.
El tiempo de envío a ClickHouse no aumenta de forma lineal con el tiempo de extracción desde la base de datos de origen. Esto puede aprovecharse para reducir el tamaño de un slot de replicación grande.
Al aumentar tanto el intervalo de sincronización como el tamaño del lote de extracción, ClickPipe extraerá una gran cantidad de datos de la base de datos de origen de una sola vez y luego los enviará a ClickHouse.
Puede ver cuánto tarda cada lote en la tabla CDC Syncs de la pestaña Métricas del ClickPipe. Tenga en cuenta que la duración aquí incluye el tiempo de envío y que, si no llegan filas, el ClickPipe espera, y ese tiempo de espera también se incluye en la duración.
Última modificación el 10 de junio de 2026