ClickPipes에서 지원되는 데이터 소스
- Kafka
- Postgres
- MySQL
- MongoDB
지원되는 AWS PrivateLink 엔드포인트 유형
VPC 리소스
리전 간 연결은 지원되지 않습니다.
- 리소스 게이트웨이 생성
- 리소스 구성 생성
- 리소스 공유 생성
리소스 게이트웨이 생성
리소스 게이트웨이는 VPC에서 지정한 리소스로 향하는 트래픽을 수신하는 지점입니다.리소스 게이트웨이에 연결된 서브넷에는 사용 가능한 IP 주소를 충분히 확보해 두는 것이 좋습니다.
각 서브넷에는 최소
/26 서브넷 마스크를 사용하는 것이 좋습니다.각 VPC endpoint(각 Reverse Private Endpoint)마다 AWS는 서브넷별로 연속된 16개의 IP 주소 블록을 요구합니다. (/28 서브넷 마스크)
이 요구 사항을 충족하지 않으면 Reverse Private Endpoint가 실패 상태로 전환됩니다.Active 상태가 될 때까지 기다려야 합니다. 다음 명령을 실행하면 상태를 확인할 수 있습니다:VPC 리소스 구성 만들기
리소스에 액세스할 수 있도록 리소스 구성은 리소스 gateway와 연결됩니다.AWS 콘솔 또는 다음 명령을 사용해 리소스 구성을 만들 수 있습니다:출력에는 다음 단계에 필요한 Resource-Configuration ARN이 포함됩니다. 또한 VPC 리소스로 ClickPipe connection을 설정하는 데 필요한 Resource-Configuration ID도 포함됩니다.
Resource-Share 생성
리소스를 공유하려면 Resource-Share가 필요합니다. 이는 Resource Access Manager(RAM)를 통해 설정합니다.Resource-Share는 단일 Reverse Private Endpoint에만 사용할 수 있으며 재사용할 수 없습니다.
동일한 Resource-Configuration을 여러 Reverse Private Endpoint에 사용해야 하는 경우,
각 endpoint마다 별도의 Resource-Share를 생성해야 합니다.
Reverse Private Endpoint가 삭제된 후에도 Resource-Share는 AWS account에 그대로 남아 있으므로,
더 이상 필요하지 않다면 수동으로 삭제해야 합니다.
072088201116(arn:aws:iam::072088201116:root)를 사용해 다음 명령을 실행할 수 있습니다:VPC endpoint type을VPC Resource로 설정합니다.Resource configuration ID를 2단계에서 생성한 Resource-Configuration의 ID로 설정합니다.Resource share ARN을 3단계에서 생성한 Resource-Share의 ARN으로 설정합니다.
MSK multi-VPC 연결
MSK 클러스터 정책을 업데이트하고 MSK 클러스터의 허용된 주체에
072088201116을 추가하십시오.
자세한 내용은 클러스터 정책 연결에 대한 AWS 가이드를 참조하십시오.VPC 엔드포인트 서비스
- Private DNS 지원이 필요한 모든 온프레미스 Kafka 구성
- Postgres CDC용 교차 리전 연결
- MSK 클러스터용 교차 리전 연결. 도움이 필요하면 ClickHouse 지원팀에 문의하십시오.
VPC 엔드포인트 서비스의 허용된 주체에 ClickPipes 계정 ID
072088201116을 추가하십시오.
자세한 내용은 AWS의 권한 관리 가이드를 참조하십시오.ClickPipes에 대해 교차 리전 액세스를
구성할 수 있습니다. VPC 엔드포인트 서비스의 허용된 리전에 ClickPipe 리전을 추가하십시오.
reverse private endpoint로 ClickPipe 생성하기
- ClickHouse Cloud 서비스의 SQL 콘솔에 접속합니다.
- 왼쪽 메뉴에서
Data Sources버튼을 선택한 후 “Set up a ClickPipe”를 클릭합니다.
- 데이터 소스로 Kafka 또는 Postgres를 선택합니다.
Reverse private endpoint옵션을 선택합니다.
- 기존 reverse private endpoint 중 하나를 선택하거나 새로 생성합니다.
RDS에 대해 리전 간 액세스가 필요하면 VPC 엔드포인트 서비스를 생성해야 합니다.
설정을 시작할 때는 이 가이드가 좋은 출발점이 됩니다.동일 리전 액세스에는 VPC 리소스를 생성하는 방식을 권장합니다.
- 선택한 endpoint 유형에 필요한 매개변수를 입력합니다.
- VPC 리소스의 경우 구성 공유 ARN과 구성 ID를 입력합니다.
- MSK multi-VPC의 경우 cluster ARN과 생성된 endpoint에 사용된 인증 방법을 입력합니다.
- VPC 엔드포인트 서비스의 경우 서비스 이름을 입력합니다.
-
Create를 클릭하고 reverse private endpoint가 준비될 때까지 기다립니다. 새 endpoint를 생성하는 경우 설정이 완료되기까지 다소 시간이 걸립니다. endpoint가 준비되면 페이지가 자동으로 갱신됩니다. VPC 엔드포인트 서비스의 경우 AWS 콘솔에서 connection 요청을 수락해야 할 수 있습니다.
- endpoint가 준비되면 DNS 이름을 사용해 데이터 소스에 연결할 수 있습니다. endpoint 목록에서 사용 가능한 endpoint의 DNS 이름을 확인할 수 있습니다. 이 이름은 ClickPipes가 내부적으로 프로비저닝한 DNS 이름이거나 PrivateLink 서비스에서 제공하는 private DNS 이름일 수 있습니다. DNS 이름만으로는 완전한 네트워크 주소가 되지 않습니다. 데이터 소스에 맞는 포트를 추가하십시오. MSK connection string은 AWS 콘솔에서 확인할 수 있습니다. DNS 이름의 전체 목록을 보려면 Cloud 서비스 설정으로 이동하십시오.
기존 Reverse Private Endpoint 관리
-
사이드바에서
Settings버튼을 찾아 클릭합니다. -
ClickPipe reverse private endpoints섹션에서Reverse private endpoints를 클릭합니다. Reverse Private Endpoint의 자세한 정보가 플라이아웃에 표시됩니다. 여기에서 엔드포인트를 제거할 수 있습니다. 이 엔드포인트를 사용하는 모든 ClickPipes에 영향을 줍니다.
지원되는 AWS 리전
제한 사항
비활성 endpoint의 자동 정리
| 상태 | 유예 기간 | 설명 |
|---|---|---|
| Failed | 7일 | Provisioning 중 endpoint에 오류가 발생했습니다. |
| Pending Acceptance | 1일 | endpoint connection이 service 소유자에게 아직 수락되지 않았습니다. |
| Rejected | 1일 | endpoint connection이 service 소유자에게 거부되었습니다. |
| Expired | 즉시 | endpoint는 이미 만료되었으며 즉시 제거됩니다. |