Guia de configuração da fonte do Aurora Postgres

Configure o Amazon Aurora Postgres como fonte para o ClickPipes

​

Versões compatíveis do Postgres

O ClickPipes oferece suporte ao Aurora PostgreSQL-Compatible Edition versão 12 e posteriores.

​

Habilitar a replicação lógica

Você pode pular esta seção se a sua instância do Aurora já estiver com a seguinte configuração definida:

• rds.logical_replication = 1

Essa configuração normalmente já vem habilitada se você já usou outra ferramenta de replicação de dados.

postgres=> SHOW rds.logical_replication ;
 rds.logical_replication
-------------------------
 on
(1 row)

Se isso ainda não estiver configurado, siga estas etapas:

1. Crie um novo grupo de parâmetros para a sua versão do Aurora PostgreSQL com a configuração necessária:
   • Defina rds.logical_replication como 1

2. Aplique o novo grupo de parâmetros ao cluster do Aurora PostgreSQL

3. Reinicie o cluster do Aurora para aplicar as alterações

​

Configurar usuário do banco de dados

Conecte-se à instância de gravação do Aurora PostgreSQL como usuário administrador e execute os seguintes comandos:

1. Crie um usuário dedicado para o ClickPipes:

   CREATE USER clickpipes_user PASSWORD 'some-password';
   

2. Conceda acesso somente leitura no nível do schema ao usuário criado na etapa anterior. O exemplo a seguir mostra as permissões para o schema public. Repita esses comandos para cada schema que contenha tabelas que você queira replicar:

   GRANT USAGE ON SCHEMA "public" TO clickpipes_user;
   GRANT SELECT ON ALL TABLES IN SCHEMA "public" TO clickpipes_user;
   ALTER DEFAULT PRIVILEGES IN SCHEMA "public" GRANT SELECT ON TABLES TO clickpipes_user;
   

3. Conceda privilégios de replicação ao usuário:

   GRANT rds_replication TO clickpipes_user;
   

4. Crie uma publication com as tabelas que você deseja replicar. Recomendamos fortemente incluir na publication apenas as tabelas necessárias para evitar sobrecarga de desempenho.

Qualquer tabela incluída na publication deve ter uma chave primária definida ou sua replica identity configurada como FULL. Consulte as FAQs do Postgres para orientações sobre como definir esse escopo.

• Para criar uma publication para tabelas específicas:

  CREATE PUBLICATION clickpipes FOR TABLE table_to_replicate, table_to_replicate2;
  

  • Para criar uma publication para todas as tabelas de um schema específico:

    CREATE PUBLICATION clickpipes FOR TABLES IN SCHEMA "public";
    

A publication clickpipes conterá o conjunto de eventos de alteração gerados pelas tabelas especificadas e, posteriormente, será usada para a ingestão do fluxo de replicação.

​

Configurar acesso à rede

​

Controle de acesso baseado em IP

Se você quiser restringir o tráfego para o cluster Aurora, adicione os IPs NAT estáticos documentados às Inbound rules do Security Group do Aurora.

​

Acesso privado via AWS PrivateLink

Para se conectar ao cluster Aurora por uma rede privada, você pode usar o AWS PrivateLink. Siga nosso guia de configuração do AWS PrivateLink para ClickPipes para estabelecer a conexão.

​

Considerações específicas do Aurora

Ao configurar o ClickPipes com Aurora PostgreSQL, tenha em mente as seguintes considerações:

1. Endpoint de conexão: Sempre se conecte ao endpoint de gravação do seu cluster Aurora, pois a replicação lógica requer acesso de escrita para criar replication slots e precisa se conectar à instância primária.

2. Tratamento de failover: Em caso de failover, o Aurora promoverá automaticamente uma instância de leitura para ser o novo writer. O ClickPipes detectará a desconexão e tentará se reconectar ao endpoint de gravação, que então passará a apontar para a nova instância primária.

3. Global Database: Se você estiver usando Aurora Global Database, deverá se conectar ao endpoint de gravação da região primária, pois a replicação entre regiões já faz a movimentação dos dados entre elas.

4. Considerações de armazenamento: A camada de armazenamento do Aurora é compartilhada por todas as instâncias de um cluster, o que pode oferecer melhor desempenho para a replicação lógica em comparação com o RDS padrão.

​

Como lidar com endpoints dinâmicos do cluster

Embora o Aurora forneça endpoints estáveis que direcionam automaticamente para a instância apropriada, aqui estão algumas abordagens adicionais para garantir conectividade consistente:

1. Para configurações de alta disponibilidade, configure sua aplicação para usar o endpoint de gravação do Aurora, que aponta automaticamente para a instância primária atual.

2. Se estiver usando replicação entre regiões, considere configurar ClickPipes separados para cada região para reduzir a latência e melhorar a tolerância a falhas.

​

O que vem a seguir?

Agora você pode criar seu ClickPipe e começar a fazer a ingestão de dados do seu cluster Aurora PostgreSQL para o ClickHouse Cloud. Anote os detalhes da conexão que você usou ao configurar seu cluster Aurora PostgreSQL, pois você precisará deles durante o processo de criação do ClickPipe.