S3 ClickPipe ofrece una forma totalmente gestionada y robusta de ingestar datos desde Amazon S3 y almacenes de objetos compatibles con S3 en ClickHouse Cloud. Admite tanto la ingestión única como la ingestión continua, con semántica de exactly-once.
Los S3 ClickPipes pueden desplegarse y gestionarse manualmente mediante la UI de ClickPipes, así como de forma programática con OpenAPI y Terraform.
Fuentes de datos compatibles
| Nombre | Logo | Detalles |
|---|
| Amazon S3 |  | La ingestión continua requiere orden lexicográfico de forma predeterminada, pero puede configurarse para ingestar archivos en cualquier orden. |
Cloudflare R2
Compatible con S3 |  | La ingestión continua requiere orden lexicográfico. El modo no ordenado no es compatible. |
DigitalOcean Spaces
Compatible con S3 |  | La ingestión continua requiere orden lexicográfico. El modo no ordenado no es compatible. |
OVH Object Storage
Compatible con S3 |  | La ingestión continua requiere orden lexicográfico. El modo no ordenado no es compatible. |
Debido a las diferencias en los formatos de URL y las implementaciones de API entre los proveedores de servicios de almacenamiento de objetos, no todos los servicios compatibles con S3 son compatibles de inmediato. Si tienes problemas con un servicio que no aparece en la lista anterior, ponte en contacto con nuestro equipo. file1, file2 y file3 se ingestarán secuencialmente, pero si se añade un nuevo file 0 al bucket, se ignorará porque el nombre del archivo no es lexicográficamente mayor que el del último archivo ingestado.
En este modo, el S3 ClickPipe realiza una carga inicial de todos los archivos de la ruta especificada y luego consulta periódicamente si hay archivos nuevos en un intervalo configurable (de forma predeterminada, 30 segundos). No es posible iniciar la ingestión desde un archivo específico o un momento concreto: ClickPipes siempre cargará todos los archivos de la ruta especificada.
Es posible configurar un S3 ClickPipe para ingestar archivos que no tengan un orden implícito mediante la configuración de una cola de Amazon SQS conectada al bucket, opcionalmente con Amazon EventBridge como enrutador de eventos. Esto permite que ClickPipes escuche eventos de creación de objetos e ingeste archivos nuevos independientemente de la convención de nomenclatura.
El modo no ordenado solo es compatible con Amazon S3 y no es compatible con buckets públicos ni con servicios compatibles con S3. Requiere configurar una cola de Amazon SQS conectada al bucket, opcionalmente con Amazon EventBridge como enrutador de eventos. ObjectCreated:* en la cola que coincidan con la ruta especificada. Cualquier mensaje de un archivo ya visto, de un archivo que no coincida con la ruta o de un evento de otro tipo se ignorará.
Configurar un prefijo/sufijo para los eventos es opcional. Si lo haces, asegúrate de que coincida con la ruta configurada para el ClickPipe. S3 no permite múltiples reglas de notificación superpuestas para los mismos tipos de eventos.
max insert bytes o max file count, o después de un intervalo configurable (30 segundos de forma predeterminada). No es posible iniciar la ingestión desde un archivo específico o un momento determinado: ClickPipes siempre cargará todos los archivos de la ruta seleccionada. Si se configura una DLQ, los mensajes fallidos se volverán a encolar y se reprocesarán hasta el número de veces configurado en el parámetro maxReceiveCount de la DLQ.
Recomendamos encarecidamente configurar una Dead-Letter-Queue (DLQ) para la cola de SQS, para facilitar la depuración y el reintento de mensajes fallidos.
De EventBridge a SQS
También es posible enviar notificaciones de eventos de S3 a SQS a través de Amazon EventBridge. Este es el enfoque recomendado para la mayoría de los casos de uso, ya que EventBridge permite un filtrado de eventos más avanzado, la distribución a múltiples destinos y no está sujeto a la limitación de S3 de una sola regla de notificación por tipo de evento y prefijo. Consulta Configuración del modo no ordenado para la ingestión continua para obtener instrucciones paso a paso.
SNS a SQS
También es posible enviar notificaciones de eventos de S3 a SQS a través de un tema de SNS. Esto puede resultar útil si te encuentras con alguna de las limitaciones de la integración directa de S3 → SQS. En este caso, tendrás que habilitar la opción de entrega de mensajes sin formato.
Coincidencia de patrones de archivos
data-2024-*.csv en lugar de *.csv).
| Patrón | Descripción | Ejemplo | Coincidencias |
|---|
? | Coincide con exactamente un carácter (excepto /) | data-?.csv | data-1.csv, data-a.csv, data-x.csv |
* | Coincide con cero o más caracteres (excepto /) | data-*.csv | data-1.csv, data-001.csv, data-report.csv, data-.csv |
**
Recursivo | Coincide con cero o más caracteres (incluido /). Permite el recorrido recursivo de directorios. | logs/**/error.log | logs/error.log, logs/2024/error.log, logs/2024/01/error.log |
https://bucket.s3.amazonaws.com/folder/*.csvhttps://bucket.s3.amazonaws.com/logs/**/data.jsonhttps://bucket.s3.amazonaws.com/file-?.parquethttps://bucket.s3.amazonaws.com/data-2024-*.csv.gz
| Patrón | Descripción | Ejemplo | Alternativas |
|---|
{abc,def} | Expansión entre llaves. | {logs,data}/file.csv | Cree ClickPipes independientes para cada ruta. |
{N..M} | Expansión de rango numérico | file-{1..100}.csv | Use file-*.csv o file-?.csv. |
https://bucket.s3.amazonaws.com/{documents-01,documents-02}.jsonhttps://bucket.s3.amazonaws.com/file-{1..100}.csvhttps://bucket.s3.amazonaws.com/{logs,metrics}/data.parquet
Semántica de exactly-once
_file en la lista de asignación de columnas. La columna virtual _file contiene el nombre de archivo del objeto de origen, que puede utilizarse para consultar qué archivos se han procesado.
El S3 ClickPipe admite buckets públicos y privados. Los buckets con Requester Pays no son compatibles.
Los buckets deben permitir las siguientes acciones en la política del bucket:
Al usar el modo no ordenado, SQS debe permitir las siguientes acciones en la política de la cola:
Para usar claves de acceso para autenticarse, selecciona Credentials en Método de autenticación al configurar tu conexión de ClickPipe. Luego, introduce el ID de la clave de acceso (por ejemplo, AKIAIOSFODNN7EXAMPLE) y la clave de acceso secreta (por ejemplo, wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY) en Access key y Secret key, respectivamente.
Para usar acceso basado en roles para autenticarse, selecciona IAM role en Método de autenticación al configurar tu conexión de ClickPipe.
Sigue esta guía para crear un rol con la política de confianza necesaria para acceder a S3. Luego, indica el ARN del rol de IAM en IAM role ARN.
Los ClickPipes de S3 usan dos rutas de red distintas para el descubrimiento de metadatos y la ingestión de datos: el servicio ClickPipes y el servicio ClickHouse Cloud, respectivamente. Si desea configurar una capa adicional de seguridad de red (por ejemplo, por motivos de cumplimiento normativo), el acceso de red debe configurarse para ambas rutas.
-
Para el control de acceso basado en IP, la política del bucket de S3 debe permitir las IP estáticas de la región del servicio ClickPipes indicadas aquí, así como las IP estáticas del servicio ClickHouse Cloud. Para obtener las IP estáticas de su región de ClickHouse Cloud, abra una terminal y ejecute:
# Reemplace <your-region> por su región de ClickHouse Cloud
curl -s https://api.clickhouse.cloud/static-ips.json | jq -r '.aws[] | select(.region == "<your-region>") | .egress_ips[]'
-
Para el control de acceso basado en endpoints de VPC, el bucket de S3 debe estar en la misma región que el servicio ClickHouse Cloud y restringir las operaciones
GetObject a los ID de los endpoints de VPC del servicio ClickHouse Cloud. Para obtener los endpoints de VPC de su región de ClickHouse Cloud, abra una terminal y ejecute:
# Reemplace <your-region> por su región de ClickHouse Cloud
curl -s https://api.clickhouse.cloud/static-ips.json | jq -r '.aws[] | select(.region == "<your-region>") | .s3_endpoints[]'
ClickPipes ofrece valores predeterminados adecuados para cubrir los requisitos de la mayoría de los casos de uso. Si su caso de uso requiere un ajuste más fino, puede modificar la siguiente configuración:
| Configuración | Valor predeterminado | Descripción |
|---|
Max insert bytes | 10GB | Número de bytes que se procesan en un único lote de inserción. |
Max file count | 100 | Número máximo de archivos que se procesan en un único lote de inserción. |
Max threads | auto(3) | Número máximo de hilos concurrentes para el procesamiento de archivos. |
Max insert threads | 1 | Número máximo de hilos de inserción concurrentes para el procesamiento de archivos. |
Min insert block size bytes | 1GB | Tamaño mínimo, en bytes, del bloque que se puede insertar en una tabla. |
Max download threads | 4 | Número máximo de hilos de descarga concurrentes. |
Object storage polling interval | 30s | Configura el período máximo de espera antes de insertar datos en el clúster de ClickHouse. |
Parallel distributed insert select | 2 | Configuración de inserción distribuida paralela con select. |
Parallel view processing | false | Indica si se habilita el envío a vistas adjuntas de forma concurrente en lugar de secuencial. |
Use cluster function | true | Indica si los archivos se procesan en paralelo en varios nodos. |
Compatibilidad con vistas
