このガイドでは、はじめての Kafka ClickPipe を作成する手順を順を追って説明します。Kafka ClickPipes は、ClickPipes UI を使用して手動でデプロイおよび管理できるほか、OpenAPI や Terraform を使用してプログラムからデプロイおよび管理することもできます。
データソースへ移動
左側のメニューでData Sources ボタンを選択し、“Set up a ClickPipe” をクリックします。データソースを選択
一覧からKafkaのデータソースを選択します。データソースを設定する
ClickPipe の名前、説明 (任意) 、認証情報、その他の接続情報を入力してフォームを完成させます。リバース プライベート エンドポイントを設定する (任意)
ClickPipes が AWS PrivateLink 経由で Kafka クラスターに接続できるよう、リバース プライベート エンドポイントを設定します。 詳細については、AWS PrivateLink ドキュメントを参照してください。SSH トンネリングを設定する (任意)
Kafka ブローカーにパブリックにアクセスできない場合は、SSH トンネリングを使用できます。ClickPipes は直接接続する代わりに、踏み台サーバー (ネットワーク内にあり、パブリックにアクセス可能なサーバー) への SSH 接続を確立し、その接続を経由してプライベートネットワーク上の Kafka ブローカーにトラフィックを転送します。- “SSH Tunnel” トグルを有効にします。
- SSH 接続の詳細を入力します。
- SSH Host: 踏み台サーバーのホスト名または IP アドレス。プライベートネットワークへのゲートウェイとして機能する、パブリックにアクセス可能なサーバーです。
- SSH Port: 踏み台サーバーの SSH ポート (デフォルトは
22) 。 - SSH User: 踏み台サーバーで認証に使用するユーザー名。
- 鍵ベース認証を使用するには、“Revoke and regenerate key pair” をクリックして新しい鍵ペアを生成し、生成された公開鍵を SSH サーバーの
~/.ssh/authorized_keysにコピーします。 - “Verify Connection” をクリックして接続を確認します。
ClickPipes が SSH トンネルを確立できるように、SSH 踏み台サーバーのファイアウォールルールで ClickPipes IP addresses を許可してください。
トピックを選択
トピックを選択すると、UI にそのトピックのサンプルドキュメントが表示されます。宛先テーブルを設定する
次のステップでは、データを新しい ClickHouse テーブルに取り込むか、既存のテーブルを再利用するかを選択できます。画面の案内に従って、テーブル名、スキーマ、設定を変更してください。上部のサンプルテーブルで、変更内容をリアルタイムでプレビューできます。用意されているコントロールを使用して、詳細設定をカスタマイズすることもできます。権限を設定する
ClickPipes は、宛先テーブルにデータを書き込むための専用ユーザーを作成します。この内部ユーザーには、カスタムロールまたは事前定義済みロールのいずれかを選択できます。Full access: クラスターへのフルアクセス権を付与します。宛先テーブルで materialized view や Dictionary を使用する場合に便利です。Only destination table: 宛先テーブルに対するINSERT権限のみを付与します。