Guia de configuração da origem RDS MySQL

Guia passo a passo para configurar o Amazon RDS MySQL como origem no ClickPipes

Este guia passo a passo mostra como configurar o Amazon RDS MySQL para replicar dados para o ClickHouse Cloud usando o ClickPipe do MySQL. Para perguntas frequentes sobre CDC do MySQL, consulte a página de perguntas frequentes do MySQL.

​

Habilitar a retenção de logs binários

O log binário é um conjunto de arquivos de log que contêm informações sobre modificações de dados feitas em uma instância do servidor MySQL, e esses arquivos são necessários para a replicação. Para configurar a retenção de logs binários no RDS MySQL, você deve habilitar o log binário e aumentar o intervalo de retenção do binlog.

​

1. Ative o binary logging por meio de backups automatizados

O recurso de backups automatizados determina se o binary logging do MySQL fica ativado ou desativado. Você pode configurar os backups automatizados da sua instância no Console do RDS acessando Modify > Additional configuration > Backup e marcando a caixa de seleção Enable automated backups (caso ela ainda não esteja marcada).

Recomendamos definir um valor razoavelmente longo para Backup retention period, dependendo do caso de uso da replicação.

​

2. Aumente o intervalo de retenção do binlog

Se o ClickPipes tentar retomar a replicação e os arquivos de binlog necessários tiverem sido expurgados devido ao valor configurado de retenção do binlog, o ClickPipe entrará em estado de erro e será necessária uma ressincronização.

Por padrão, o Amazon RDS expurga o log binário o mais rápido possível (isto é, lazy purging). Recomendamos aumentar o intervalo de retenção do binlog para pelo menos 72 horas para garantir a disponibilidade dos arquivos de log binário para replicação em cenários de falha. Para definir um intervalo de retenção do log binário (binlog retention hours), use o procedimento mysql.rds_set_configuration:

mysql=> call mysql.rds_set_configuration('binlog retention hours', 72);

Se essa configuração não estiver definida ou estiver ajustada com um intervalo muito baixo, isso pode causar lacunas nos logs binários, comprometendo a capacidade do ClickPipes de retomar a replicação.

​

Configure as configurações do binlog

Você pode encontrar o grupo de parâmetros clicando na instância MySQL no Console do RDS e, em seguida, acessando a aba Configuration.

Se você tiver um cluster MySQL, os parâmetros abaixo podem ser encontrados no grupo de parâmetros do cluster de DB, em vez do grupo de instância de DB.

Clique no link do grupo de parâmetros para acessar a página dedicada a ele. Você deverá ver um botão Edit no canto superior direito.

Os parâmetros a seguir precisam ser definidos da seguinte forma:

1. binlog_format como ROW.

2. binlog_row_metadata como FULL

3. binlog_row_image como FULL

Em seguida, clique em Save Changes no canto superior direito. Talvez seja necessário reiniciar a instância para que as alterações entrem em vigor — você saberá disso se Pending reboot aparecer ao lado do link do grupo de parâmetros na aba Configuration da instância do RDS.

​

Ative o modo GTID

O ClickPipe do MySQL também oferece suporte à replicação sem o modo GTID. No entanto, ativar o modo GTID é recomendado para melhorar o desempenho e facilitar a solução de problemas.

Global Transaction Identifiers (GTIDs) são IDs exclusivos atribuídos a cada transação confirmada no MySQL. Eles simplificam a replicação do binlog e tornam a solução de problemas mais simples. Recomendamos ativar o modo GTID para que o ClickPipe do MySQL possa usar a replicação baseada em GTID.

A replicação baseada em GTID é compatível com o Amazon RDS for MySQL nas versões 5.7, 8.0 e 8.4. Para ativar o modo GTID na sua instância do Aurora MySQL, siga estas etapas:

1. No Console do RDS, clique na sua instância do MySQL.
2. Clique na guia Configuration.
3. Clique no link do grupo de parâmetros.
4. Clique no botão Edit no canto superior direito.
5. Defina enforce_gtid_consistency como ON.
6. Defina gtid-mode como ON.
7. Clique em Save Changes no canto superior direito.
8. Reinicie sua instância para que as alterações entrem em vigor.

O ClickPipe do MySQL também oferece suporte à replicação sem o modo GTID. No entanto, ativar o modo GTID é recomendado para melhorar o desempenho e facilitar a solução de problemas.

​

Configure um usuário de banco de dados

Conecte-se à sua instância do RDS MySQL como um usuário administrador e execute os seguintes comandos:

1. Crie um usuário dedicado para o ClickPipes:

   CREATE USER 'clickpipes_user'@'host' IDENTIFIED BY 'some-password';
   

2. Conceda permissões no schema. O exemplo a seguir mostra as permissões para o banco de dados mysql. Repita esses comandos para cada banco de dados e host que você quiser replicar:

   GRANT SELECT ON `mysql`.* TO 'clickpipes_user'@'host';
   

3. Conceda permissões de replicação ao usuário:

   GRANT REPLICATION CLIENT ON *.* TO 'clickpipes_user'@'%';
   GRANT REPLICATION SLAVE ON *.* TO 'clickpipes_user'@'%';
   

​

Configure o acesso à rede

​

Controle de acesso por IP

Para restringir o tráfego até sua instância do Aurora MySQL, adicione os IPs NAT estáticos documentados às regras de entrada do seu Security Group do RDS.

​

Acesso privado via AWS PrivateLink

Para se conectar à sua instância do RDS por uma rede privada, você pode usar o AWS PrivateLink. Siga o guia de configuração do AWS PrivateLink para ClickPipes para configurar a conexão.

​

Próximos passos

Agora que sua instância do Amazon RDS MySQL está configurada para replicação via binlog e para se conectar com segurança ao ClickHouse Cloud, você pode criar seu primeiro ClickPipe do MySQL. Para perguntas comuns sobre CDC do MySQL, consulte a página de perguntas frequentes do MySQL.