支持的 ClickPipes 数据源
- Kafka
- Postgres
- MySQL
- MongoDB
支持的 AWS PrivateLink 端点类型
VPC 资源
不支持跨区域。
- 创建资源网关
- 创建资源配置
- 创建资源共享
创建资源网关
资源网关是为 VPC 中指定资源接收流量的入口。建议与资源网关关联的子网具备充足的可用 IP 地址。
建议每个子网至少使用
/26 子网掩码。对于每个 VPC 端点 (即每个 Reverse Private Endpoint) ,AWS 要求每个子网提供一段连续的 16 个 IP 地址块。(/28 子网掩码)
如果不满足此要求,Reverse Private Endpoint 将转为 Failed 状态。Active 状态。您可以运行以下命令检查其状态:创建 VPC 资源配置
资源配置会与资源网关关联,以便您的资源可被访问。您可以在 AWS 控制台 中创建资源配置,或使用以下命令:你无法为可公开访问的集群创建资源配置。
如果你的集群可公开访问,则必须先将集群修改为私有,
然后才能创建资源配置,
或者改用 IP allow list。
更多信息,请参阅 AWS 文档。
创建 Resource-Share
要共享资源,需要先创建一个 Resource-Share。此操作通过 Resource Access Manager (RAM) 完成。一个 Resource-Share 只能用于单个 Reverse Private Endpoint,且不能重复使用。
如果你需要将同一个 Resource-Configuration 用于多个 Reverse Private Endpoints,
则必须为每个端点分别创建一个 Resource-Share。
即使 Reverse Private Endpoint 被删除,Resource-Share 仍会保留在你的 AWS 账户中;
如果不再需要,必须手动将其删除。
072088201116 (arn:aws:iam::072088201116:root) 运行以下命令:- 将
VPC endpoint type设置为VPC Resource。 - 将
Resource configuration ID设置为第 2 步中创建的 Resource-Configuration 的 ID。 - 将
Resource share ARN设置为第 3 步中创建的 Resource-Share 的 ARN。
MSK multi-VPC 连接
请更新您的 MSK 集群策略,并将
072088201116 添加到 MSK 集群允许的主体中。
更多详情,请参阅 AWS 关于附加集群策略的指南。VPC endpoint service
- 任何需要私有 DNS 支持的本地部署 Kafka 环境
- Postgres CDC 的跨区域连接
- MSK cluster 的跨区域连接。如需协助,请联系 ClickHouse 支持团队。
将 ClickPipes 账户 ID
072088201116 添加到您的 VPC endpoint service 的允许主体中。
更多详情,请参阅 AWS 关于管理权限的指南。可以为 ClickPipes 配置跨区域访问。
将您的 ClickPipe 区域添加到您的 VPC endpoint service 的允许区域列表中。
使用反向专用终结点创建 ClickPipe
- 进入你的 ClickHouse Cloud 服务的 SQL 控制台。
- 在左侧菜单中选择
Data Sources按钮,然后点击“Set up a ClickPipe”
- 选择 Kafka 或 Postgres 作为数据源。
- 选择
Reverse private endpoint选项。
- 从现有反向专用终结点中选择一个,或创建新的反向专用终结点。
如果 RDS 需要跨区域访问,则需要创建一个 VPC endpoint service,
本指南可作为设置它的良好起点。对于同一区域访问,建议创建 VPC 资源。
- 为所选端点类型提供必填参数。
- 对于 VPC 资源,请提供 configuration share ARN 和 configuration ID。
- 对于 MSK multi-VPC,请提供 cluster ARN 以及已创建端点使用的身份验证方法。
- 对于 VPC endpoint service,请提供 service name。
-
点击
Create,然后等待反向专用终结点就绪。 如果你正在创建新的端点,则需要一些时间完成设置。 端点就绪后,页面会自动刷新。 VPC endpoint service 可能需要你在 AWS 控制台中接受连接请求。
- 端点就绪后,你可以使用 DNS 名称连接到数据源。 在端点列表中,你可以看到可用端点的 DNS 名称。 这可以是 ClickPipes 在内部预配的 DNS 名称,也可以是由 PrivateLink 服务提供的私有 DNS 名称。 DNS 名称不是完整的网络地址。 请根据数据源添加端口。 MSK connection string 可在 AWS 控制台中查看。 如需查看完整的 DNS 名称列表,请前往云服务设置。
管理现有反向专用终结点
-
在侧边栏中找到
Settings按钮并点击。 -
在
ClickPipe reverse private endpoints部分中,点击Reverse private endpoints。 弹出面板中会显示反向专用终结点的详细信息。 你也可以在这里移除该端点。这会影响所有使用此端点的 ClickPipes。
支持的 AWS 区域
限制
自动清理非活动端点
| 状态 | 宽限期 | 描述 |
|---|---|---|
| 失败 | 7 天 | 端点在预配期间遇到错误。 |
| 待接受 | 1 天 | 端点连接尚未被服务所有者接受。 |
| 已拒绝 | 1 天 | 端点连接已被服务所有者拒绝。 |
| 已过期 | 立即 | 端点已过期,会被立即移除。 |