通过 ClickPipes 将数据从 MySQL 摄取到 ClickHouse Cloud 目前处于 Public Beta 阶段。
前置条件
支持的数据源
| 名称 | 标志 | 详情 |
|---|---|---|
| Amazon RDS MySQL 一次性加载，CDC | 请参阅 Amazon RDS MySQL 配置指南。 | |
| Amazon Aurora MySQL 一次性加载，CDC | 请参阅 Amazon Aurora MySQL 配置指南。 | |
| Cloud SQL for MySQL 一次性加载，CDC | 请参阅 Cloud SQL for MySQL 配置指南。 | |
| Azure Database for MySQL 灵活服务器 一次性加载 | 请参阅 Azure Database for MySQL 灵活服务器 配置指南。 | |
| 自托管 MySQL 一次性加载，CDC | 请参阅 Generic MySQL 配置指南。 | |
| Amazon RDS MariaDB 一次性加载，CDC | 请参阅 Amazon RDS MariaDB 配置指南。 | |
| 自托管 MariaDB 一次性加载，CDC | 请参阅 Generic MariaDB 配置指南。 |
创建你的 ClickPipe
- 在 ClickHouse Cloud 控制台中，前往你的 ClickHouse Cloud 服务。
- 在左侧菜单中选择
Data Sources按钮，然后点击“Set up a ClickPipe”
- 选择
MySQL CDC卡片
添加源 MySQL 数据库连接
- 填写你在前置条件步骤中配置的源 MySQL 数据库连接信息。
在开始添加连接信息之前，请确保你已在防火墙规则中将 ClickPipes IP 地址加入白名单。你可以在以下页面查看 ClickPipes IP 地址列表。
更多信息请参阅本页顶部链接的源 MySQL 设置指南 本页顶部。
(可选) 设置 SSH 隧道
- 启用“使用 SSH 隧道”开关。
- 填写 SSH 连接信息。
-
如需使用基于密钥的身份验证，请点击“撤销并生成密钥对”生成新的密钥对，并将生成的公钥复制到 SSH 服务器上的
~/.ssh/authorized_keys。 - 点击“验证连接”以检查连接是否可用。
请确保在 SSH 堡垒机主机的防火墙规则中将 ClickPipes IP addresses 加入白名单，以便 ClickPipes 能够建立 SSH 隧道。
Next。
配置高级设置
- 同步间隔：指 ClickPipes 轮询源数据库变更的时间间隔。这会影响目标端 ClickHouse 服务；对于对成本较敏感的用户，建议将该值设高一些 (大于
3600) 。 - 初始加载并行线程数：指用于拉取初始快照的并行工作线程数。当您有大量表，并希望控制用于拉取初始快照的并行工作线程数时，此设置会很有用。此设置按表生效。
- 拉取批次大小：单个批次中拉取的行数。这是一个尽力而为的设置，因此在某些情况下可能不会严格生效。
- 快照每个分区的行数：指初始快照期间每个分区中将拉取的行数。当您的表中有大量行，并希望控制每个分区拉取的行数时，此设置会很有用。
- 快照并行表数量：指初始快照期间并行拉取的表数量。当您有大量表，并希望控制并行拉取的表数量时，此设置会很有用。
配置表
- 在此，您可以为 ClickPipe 选择目标数据库。您既可以选择现有数据库，也可以新建数据库。
- 您可以选择要从源 MySQL 数据库复制的表。选择表时，您还可以重命名目标 ClickHouse 数据库中的表，并排除特定列。
查看权限并启动 ClickPipe
- 在权限下拉菜单中选择“完全访问”角色，然后点击“完成设置”。