Puede inscribirse en la lista de espera de la vista previa privada aquí.
Requisitos previos
- Debe tener privilegios para administrar cuentas de servicio y roles de IAM en su proyecto de GCP, o contar con la ayuda de un administrador. Recomendamos crear una cuenta de servicio dedicada con el conjunto mínimo de permisos necesarios, siguiendo la documentación oficial.
- El proceso de carga inicial requiere un bucket de Google Cloud Storage (GCS) proporcionado por el usuario para el almacenamiento temporal. Recomendamos crear un bucket dedicado para su ClickPipe siguiendo la documentación oficial. En el futuro, ClickPipes proporcionará y administrará el bucket intermedio.
Selecciona la fuente de datos
1. En ClickHouse Cloud, selecciona Data sources en el menú principal de navegación y haz clic en Create ClickPipe.2. Haz clic en el tile de BigQuery.Configura tu conexión de ClickPipe
Para configurar un nuevo ClickPipe, debes indicar cómo conectarte y autenticarte con tu data warehouse de BigQuery, así como un GCS bucket de almacenamiento temporal.1. Sube la key.json de la cuenta de servicio que creaste para ClickPipes. Asegúrate de que la cuenta de servicio tenga el conjunto mínimo de permissions requerido.2. Selecciona el método de replicación. En Private Preview, la única opción compatible es solo carga inicial.3. Indica la path al GCS bucket para almacenar temporalmente los datos durante la carga inicial.4. Haz clic en Next para validar.Configura tu ClickPipe
Según el tamaño de tu dataset de BigQuery o el tamaño total de las tablas que quieres sincronizar, puede que necesites ajustar la configuración predeterminada de ingestión del ClickPipe.Configura las tablas
1. Selecciona la base de datos de ClickHouse en la que quieres replicar las tablas de BigQuery. Puedes seleccionar una base de datos existente o crear una nueva.2. Selecciona las tablas y, opcionalmente, las columnas que quieres replicar. Solo aparecerán los datasets a los que tenga acceso la cuenta de servicio proporcionada.3. Para cada tabla seleccionada, asegúrate de definir una clave de ordenación personalizada en Advanced settings > Use a custom clave de ordenación. En el futuro, la clave de ordenación se inferirá automáticamente a partir de las claves de clustering o partición existentes en la base de datos de origen.Configura los permisos
Por último, puedes configurar los permisos para el usuario interno de ClickPipes.Permisos: ClickPipes creará un usuario dedicado para escribir datos en una tabla de destino. Puedes seleccionar un rol para este usuario interno mediante un rol personalizado o uno de los roles predefinidos:Full access: acceso completo al cluster. Es necesario si usas vistas materializadas o un diccionario con la tabla de destino.Only destination: permisos de inserción únicamente en la tabla de destino.