Kafka ClickPipes に関するよくある質問
一般
Kafka 向け ClickPipes はどのように動作しますか？
Kafka 向け ClickPipes はどのように動作しますか？
ClickPipes は、Kafka Consumer API を使用する専用アーキテクチャによって指定したトピックからデータを読み取り、そのデータを特定の ClickHouse Cloud サービス上の ClickHouse テーブルに挿入します。
ClickPipes と ClickHouse Kafka Table Engine の違いは何ですか？
ClickPipes と ClickHouse Kafka Table Engine の違いは何ですか？
Kafka Table engine は ClickHouse のコア機能であり、ClickHouse server 自身が Kafka に接続してイベントを取得し、ローカルに書き込む「プルモデル」を実装します。一方、ClickPipes は ClickHouse サービスとは独立して動作する別個の Cloud サービスです。Kafka (または他のデータソース) に接続し、関連付けられた ClickHouse Cloud サービスにイベントをプッシュします。この疎結合アーキテクチャにより、高い運用柔軟性、関心の明確な分離、スケーラブルなインジェスト、障害の適切な管理、拡張性などが実現されます。
Kafka 向け ClickPipes を使用するための要件は何ですか？
Kafka 向け ClickPipes を使用するための要件は何ですか？
Kafka 向け ClickPipes を使用するには、稼働中の Kafka ブローカーと、ClickPipes が有効になっている ClickHouse Cloud サービスが必要です。また、ClickHouse Cloud から Kafka ブローカーにアクセスできるようにする必要があります。これは、Kafka 側でリモート接続を許可し、Kafka の設定で ClickHouse Cloud Egress IP addresses を許可リストに追加することで実現できます。あるいは、AWS PrivateLink を使用して Kafka 向け ClickPipes を Kafka ブローカーに接続することもできます。
Kafka 向け ClickPipes は AWS PrivateLink をサポートしていますか？
Kafka 向け ClickPipes は AWS PrivateLink をサポートしていますか？
AWS PrivateLink はサポートされています。設定方法の詳細については、ドキュメント を参照してください。
Kafka 向け ClickPipes を使用して Kafka トピックにデータを書き込めますか？
Kafka 向け ClickPipes を使用して Kafka トピックにデータを書き込めますか？
いいえ。Kafka 向け ClickPipes は Kafka トピックからデータを読み取るために設計されており、トピックへの書き込みには対応していません。Kafka トピックにデータを書き込むには、専用の Kafka producer を使用する必要があります。
ClickPipes は複数のブローカーをサポートしていますか？
ClickPipes は複数のブローカーをサポートしていますか？
はい。ブローカーが同じクォーラムに属している場合は、
, 区切りでまとめて設定できます。ClickPipes のレプリカはスケーリングできますか？
ClickPipes のレプリカはスケーリングできますか？
はい。streaming 向けの ClickPipes は、水平方向と垂直方向の両方にスケーリングできます。
水平スケーリングではスループットを高めるためにレプリカを追加し、垂直スケーリングでは、より高負荷の workload に対応するために各レプリカに割り当てるリソース (CPU と RAM) を増やします。
これは ClickPipe の作成時、または Settings -> Advanced Settings -> Scaling からいつでも設定できます。
ClickPipes のセットアップ UI に Kafka トピックの一部が表示されません。なぜですか？
ClickPipes のセットアップ UI に Kafka トピックの一部が表示されません。なぜですか？
ClickPipes のトピック検出 UI には、デフォルトで最大 1,500 件のトピックが表示されます。Kafka クラスターに 1,500 件を超えるトピックがある場合、一部のトピックはドロップダウンに表示されないことがあります。対象のトピックが存在することを確認するには、同じ認証情報を使用して Kafka クライアントから直接確認してください。存在が確認でき、一覧表示の上限を 1,500 件より大きくする必要がある場合は、ClickHouse Support にお問い合わせください。
Azure Event Hubs
Kafka surface なしでも Azure Event Hubs ClickPipe は動作しますか？
Kafka surface なしでも Azure Event Hubs ClickPipe は動作しますか？
いいえ。ClickPipes では、Event Hubs のネームスペースで Kafka surface が有効になっている必要があります。これは Basic より上位のティアでのみ利用できます。詳細については、Azure Event Hubs のドキュメントを参照してください。
Azure Schema Registry は ClickPipes で利用できますか？
Azure Schema Registry は ClickPipes で利用できますか？
いいえ。ClickPipes がサポートしているのは、Confluent スキーマレジストリと API 互換性のあるスキーマレジストリのみであり、Azure Schema Registry はこれに該当しません。このスキーマレジストリのサポートが必要な場合は、弊社チームまでお問い合わせください。
Azure Event Hubs から取り込むには、ポリシーにどのような権限が必要ですか？
Azure Event Hubs から取り込むには、ポリシーにどのような権限が必要ですか？
トピックの一覧表示とイベントの受信を行うには、ClickPipes に付与する共有アクセス ポリシーに、少なくとも ‘Listen’ クレームが必要です。
Event Hubs からデータが返ってこないのはなぜですか？
Event Hubs からデータが返ってこないのはなぜですか？
ClickHouse インスタンスが Event Hubs のデプロイ先と異なるリージョンまたは大陸にある場合、ClickPipes のオンボーディング時にタイムアウトが発生したり、Event Hub からデータを取り込む際のレイテンシが高くなったりすることがあります。パフォーマンス オーバーヘッドを避けるため、ClickHouse Cloud と Azure Event Hubs は同じクラウドリージョン、または近接したリージョンにデプロイすることを推奨します。
Azure Event Hubs ではポート番号を含めるべきですか？
Azure Event Hubs ではポート番号を含めるべきですか？
はい。ClickPipes では Kafka surface のポート番号を含める必要があり、そのポートは
:9093 です。Azure Event Hubs でも ClickPipes IPs は引き続き関係ありますか？
Azure Event Hubs でも ClickPipes IPs は引き続き関係ありますか？
はい。Event Hubs インスタンスへのトラフィックを制限するには、ドキュメント化されている固定 NAT IP を に追加してください。
接続文字列は Event Hub 用ですか、それとも Event Hub ネームスペース用ですか？
接続文字列は Event Hub 用ですか、それとも Event Hub ネームスペース用ですか？
どちらでも使用できます。複数の Event Hubs からサンプルを取得するには、ネームスペース レベル の共有アクセス ポリシーを使用することを強く推奨します。