En esta guía, te mostraremos cómo crear tu primer Kafka ClickPipe.Los Kafka ClickPipes pueden implementarse y gestionarse manualmente desde la UI de ClickPipes, así como mediante programación con OpenAPI y Terraform.
Ve a Data Sources
Selecciona el botón Data Sources en el menú lateral izquierdo y haz clic en “Set up a ClickPipe”.Selecciona una fuente de datos
Selecciona la fuente de datos de Kafka en la lista.Configura la fuente de datos
Completa el formulario asignándole a tu ClickPipe un nombre, una descripción (opcional), tus credenciales y otros datos de conexión.Configurar un registro de esquemas (opcional)
Se requiere un esquema válido para los temas de Avro y Protobuf. Consulta Registros de esquemas para obtener más detalles sobre cómo configurar un registro de esquemas.Configura un Reverse Private Endpoint (opcional)
Configura un Reverse Private Endpoint para permitir que ClickPipes se conecte a tu clúster de Kafka mediante AWS PrivateLink. Consulta nuestra documentación de AWS PrivateLink para obtener más información.Configura el túnel SSH (opcional)
Puedes usar un túnel SSH si tu broker de Kafka no es accesible públicamente. En lugar de conectarse directamente, ClickPipes establece una conexión SSH con un bastión (un servidor de tu red accesible públicamente) y luego reenvía el tráfico a través de él hasta tu broker de Kafka en la red privada.- Activa el interruptor “SSH Tunnel”.
- Completa los datos de la conexión SSH:
- SSH Host: El nombre de host o la dirección IP de tu bastión; este es el servidor accesible públicamente que actúa como puerta de enlace a tu red privada.
- SSH Port: El puerto SSH del bastión (valor predeterminado:
22). - SSH User: El nombre de usuario con el que te autenticarás en el bastión.
- Para usar autenticación basada en claves, haz clic en “Revoke and regenerate key pair” para generar un nuevo par de claves y copia la clave pública generada en tu servidor SSH, en
~/.ssh/authorized_keys. - Haz clic en “Verify Connection” para verificar la conexión.
Asegúrate de permitir las direcciones IP de ClickPipes en las reglas de tu firewall para el bastión SSH, de modo que ClickPipes pueda establecer el túnel SSH.
Selecciona tu topic
Selecciona tu topic y la UI mostrará un documento de ejemplo del topic.Configure su tabla de destino
En el siguiente paso, puede elegir si desea ingestar datos en una nueva tabla de ClickHouse o reutilizar una ya existente. Siga las instrucciones en pantalla para modificar el nombre de la tabla, el esquema y la configuración. Puede ver una vista previa en tiempo real de los cambios en la tabla de muestra de la parte superior.También puede personalizar la configuración avanzada con los controles proporcionadosConfigurar permisos
ClickPipes creará un usuario dedicado para escribir datos en la tabla de destino. Puede seleccionar un rol para este usuario interno mediante un rol personalizado o uno de los roles predefinidos:Full access: con acceso completo al clúster. Puede resultar útil si usa una vista materializada o un Diccionario con la tabla de destino.Only destination table: solo con permisos deINSERTen la tabla de destino.