ClickHouse와 Kafka 통합

ClickHouse와 함께 사용하는 Kafka 소개

Apache Kafka는 수많은 기업에서 고성능 데이터 파이프라인, 스트리밍 분석, 데이터 통합, 미션 크리티컬 애플리케이션에 사용하는 오픈소스 분산 이벤트 스트리밍 플랫폼입니다. ClickHouse는 Kafka와 기타 Kafka API 호환 브로커(예: Redpanda, Amazon MSK)에서 데이터를 읽고 쓸 수 있는 여러 옵션을 제공합니다.

​

사용 가능한 옵션

사용 사례에 적합한 옵션은 ClickHouse 배포 유형, 데이터 흐름 방향, 운영 요구 사항 등 여러 요소에 따라 달라집니다.

옵션	배포 유형	완전 관리형	Kafka에서 ClickHouse로	ClickHouse에서 Kafka로
ClickPipes for Kafka	Cloud, BYOC (곧 지원 예정)	✅	✅
Kafka Connect Sink	Cloud, BYOC, Self-hosted		✅
Kafka 테이블 엔진	Cloud, BYOC, Self-hosted		✅	✅

이 옵션 간의 자세한 비교는 옵션 선택을 참조하십시오.

​

ClickPipes for Kafka

ClickPipes는 몇 번만 클릭하면 다양한 소스에서 데이터를 손쉽게 수집할 수 있는 관리형 통합 플랫폼입니다. ClickPipes는 완전관리형 서비스이며 프로덕션 workload에 맞춰 설계되었기 때문에, 인프라 및 운영 비용을 크게 줄이고 외부 데이터 스트리밍 및 ETL 도구가 필요하지 않게 합니다.

ClickHouse Cloud 사용자에게는 이 옵션을 권장합니다. ClickPipes는 완전관리형이며 Cloud 환경에서 최상의 성능을 제공하도록 설계되었습니다.

​

주요 기능

• ClickHouse Cloud에 최적화되어 매우 뛰어난 성능 제공
• 높은 처리량 워크로드를 위한 수평 및 수직 확장 지원
• 구성 가능한 레플리카와 자동 재시도를 통한 기본 제공 장애 허용
• ClickHouse Cloud UI, Open API 또는 Terraform를 통한 배포 및 관리
• 클라우드 네이티브 권한 부여(IAM) 및 프라이빗 연결(PrivateLink)을 지원하는 엔터프라이즈급 보안
• Confluent Cloud, Amazon MSK, Redpanda Cloud, Azure Event Hubs를 포함한 다양한 데이터 소스 지원
• 널리 사용되는 대부분의 직렬화 포맷(JSON, Avro, Protobuf) 지원

​

시작하기

ClickPipes for Kafka를 시작하려면 참고 문서를 참조하거나 ClickHouse Cloud UI의 Data Sources 탭으로 이동하세요.

​

Kafka Connect Sink

Kafka Connect는 Kafka와 다른 데이터 시스템 간의 간단한 데이터 통합을 위한 중앙 집중식 데이터 허브 역할을 하는 오픈소스 프레임워크입니다. ClickHouse Kafka Connect Sink 커넥터는 Apache Kafka 및 기타 Kafka API 호환 브로커에서 데이터를 읽어올 수 있는 확장 가능하고 유연하게 구성할 수 있는 옵션을 제공합니다.

높은 구성 유연성이 필요하거나 이미 Kafka Connect를 사용 중이라면 이 옵션을 권장합니다.

​

주요 기능

• 정확히 한 번 처리 의미 체계를 지원하도록 설정할 수 있습니다
• 가장 널리 사용되는 직렬화 포맷(JSON, Avro, Protobuf)을 지원합니다
• ClickHouse Cloud 환경에서 지속적으로 테스트됩니다

​

시작하기

ClickHouse Kafka Connect Sink를 시작하려면 참고 문서를 참조하세요.

​

Kafka 테이블 엔진

Kafka 테이블 엔진은 Apache Kafka 및 기타 Kafka API 호환 브로커에서 데이터를 읽거나 쓸 때 사용할 수 있습니다. 이 옵션은 오픈소스 ClickHouse에 기본 포함되어 있으며, 모든 배포 방식에서 사용할 수 있습니다.

ClickHouse를 자체 호스팅하면서 도입 장벽이 낮은 옵션이 필요하거나, Kafka에 데이터를 써야 하는 경우 권장되는 옵션입니다.

​

주요 기능

• 데이터 읽기 및 쓰기에 사용할 수 있습니다
• 오픈 소스 ClickHouse에 기본 포함되어 있습니다
• 널리 사용되는 직렬화 포맷(JSON, Avro, Protobuf) 대부분을 지원합니다

​

시작하기

Kafka 테이블 엔진을 시작하려면 참고 문서를 참조하십시오.

​

옵션 선택

제품	장점	단점
ClickPipes for Kafka	• 고처리량 및 낮은 지연 시간을 위한 확장 가능한 아키텍처 • 기본 제공 모니터링 및 스키마 관리 • 프라이빗 네트워크 연결 지원(PrivateLink 사용) • SSL/TLS 인증 및 IAM 권한 부여 지원 • 프로그래밍 방식 구성 지원(Terraform, API 엔드포인트)	• Kafka로 데이터를 푸시하는 기능은 지원하지 않음 • 최소 한 번 처리 의미 체계
Kafka Connect Sink	• 정확히 한 번 처리 의미 체계 • 데이터 변환, 배칭, 오류 처리를 세밀하게 제어할 수 있음 • 프라이빗 네트워크에 배포 가능 • Debezium을 통해 ClickPipes에서 아직 지원하지 않는 데이터베이스의 실시간 복제를 지원	• Kafka로 데이터를 푸시하는 기능은 지원하지 않음 • 설정 및 유지 관리의 운영 복잡성이 높음 • Kafka 및 Kafka Connect 전문 지식이 필요함
Kafka table engine	• Kafka로 데이터 푸시 지원 • 설정이 비교적 간단함	• 최소 한 번 처리 의미 체계 • 컨슈머의 수평 스케일링이 제한됨. ClickHouse 서버와 독립적으로 스케일링할 수 없음 • 오류 처리 및 디버깅 옵션이 제한적임 • Kafka 전문 지식이 필요함

​

기타 옵션

• Confluent Cloud - Confluent Platform은 Confluent Cloud에서 ClickHouse Connector Sink를 업로드하여 실행하는 옵션을 제공하며, HTTP 또는 HTTPS를 통해 Apache Kafka를 API와 통합하는 Confluent Platform용 HTTP Sink Connector도 사용할 수 있습니다.

• Vector - Vector는 벤더 중립적인 데이터 파이프라인입니다. Kafka에서 데이터를 읽고 이벤트를 ClickHouse로 전송할 수 있어, 강력한 통합 옵션입니다.

• JDBC Connect Sink - Kafka Connect JDBC Sink 커넥터를 사용하면 Kafka 토픽의 데이터를 JDBC 드라이버를 지원하는 모든 관계형 데이터베이스로 내보낼 수 있습니다.

• 사용자 지정 코드 - 이벤트에 대한 사용자 지정 처리가 필요한 경우, Kafka와 ClickHouse 클라이언트 라이브러리를 사용하는 사용자 지정 코드가 적합할 수 있습니다.