Criando seu primeiro ClickPipe do BigQuery

Guia passo a passo para criar seu primeiro ClickPipe do BigQuery.

Você pode se inscrever na lista de espera da Prévia Privada aqui.

O BigQuery ClickPipe oferece uma maneira totalmente gerenciada e resiliente de ingerir dados do BigQuery no ClickHouse Cloud. Na Prévia Privada, ele oferece suporte ao método de replicação de carga inicial para ajudar você a carregar em massa conjuntos de dados do BigQuery para exploração e prototipagem. O CDC será suportado futuramente — enquanto isso, recomendamos usar o Google Cloud Storage ClickPipe para sincronizar continuamente as exportações de dados do BigQuery para o ClickHouse Cloud após a conclusão da carga inicial.

Os BigQuery ClickPipes podem ser implantados e gerenciados manualmente usando a UI do ClickPipes, bem como programaticamente usando OpenAPI e Terraform.

​

Pré-requisitos

• Você deve ter privilégios para gerenciar contas de serviço e funções do IAM no seu projeto no GCP, ou pedir ajuda a um administrador. Recomendamos criar uma conta de serviço dedicada com o conjunto mínimo necessário de permissões, seguindo a documentação oficial.

• O processo de carga inicial requer um bucket do Google Cloud Storage (GCS), fornecido pelo usuário, para staging. Recomendamos criar um bucket dedicado para o seu ClickPipe seguindo a documentação oficial. No futuro, o bucket intermediário será fornecido e gerenciado pelo ClickPipes.

1. ​

   Selecione a origem de dados

   1. No ClickHouse Cloud, selecione Data sources no menu principal de navegação e clique em Create ClickPipe.

   2. Clique no tile BigQuery.

2. ​

   Configure a conexão do ClickPipe

   Para configurar um novo ClickPipe, você deve fornecer os detalhes de conexão e autenticação do seu data warehouse do BigQuery, além de um GCS bucket para staging.

   1. Faça upload da chave .json da conta de serviço que você criou para o ClickPipes. Certifique-se de que a conta de serviço tenha o conjunto mínimo necessário de permissões.

   2. Selecione o Método de replicação. Em Private Preview, a única opção compatível é Somente carga inicial.

   3. Forneça o caminho para o GCS bucket usado no staging dos dados durante a carga inicial.

   4. Clique em Next para validar.

3. ​

   Configure seu ClickPipe

   Dependendo do tamanho do seu dataset do BigQuery ou do tamanho total das tabelas que você deseja sincronizar, talvez seja necessário ajustar as configurações padrão de ingestão do ClickPipe.

4. ​

   Configure as tabelas

   1. Selecione o banco de dados do ClickHouse no qual você deseja replicar as tabelas do BigQuery. Você pode selecionar um banco de dados existente ou criar um novo.

   2. Selecione as tabelas e, opcionalmente, as colunas que você deseja replicar. Somente os datasets aos quais a conta de serviço fornecida tem acesso serão listados.

   3. Para cada tabela selecionada, defina uma chave de ordenação personalizada em Configurações avançadas > Usar uma chave de ordenação personalizada. No futuro, a chave de ordenação será inferida automaticamente com base nas chaves de clustering ou de particionamento existentes no banco de dados de origem.

   Você deve definir uma chave de ordenação para as tabelas replicadas a fim de otimizar o desempenho das consultas no ClickHouse. Caso contrário, a chave de ordenação será definida como tuple(), o que significa que nenhum índice primário será criado e o ClickHouse executará varreduras completas em todas as consultas dessa tabela.

5. ​

   Configure as permissões

   Por fim, você pode configurar as permissões do usuário interno do ClickPipes.

   Permissões: o ClickPipes criará um usuário dedicado para gravar dados em uma tabela de destino. Você pode selecionar uma função para esse usuário interno usando uma função personalizada ou uma das funções predefinidas:

   • Full access: acesso total ao cluster. Necessário se você usar visões materializadas ou dicionário com a tabela de destino.
   • Only destination: permissões de insert somente na tabela de destino.
6. ​

   Conclua a configuração

   Clique em Create ClickPipe para concluir a configuração. Você será redirecionado para a página de visão geral, onde poderá acompanhar o progresso da carga inicial e clicar para ver os detalhes dos seus ClickPipes do BigQuery.