MongoDB から ClickHouse Cloud への ClickPipes を介したデータ取り込みは公開ベータです。
ClickHouse Cloud コンソールとドキュメントでは、MongoDB について “table” と “collection” を同じ意味で使用しています。
前提条件
ClickPipe を作成する
- ClickHouse Cloud コンソールで、ClickHouse Cloud サービスに移動します。
- 左側のメニューで
Data Sourcesを選択し、「Set up a ClickPipe」をクリックします。
MongoDB CDCタイルを選択します。
ソース MongoDB データベース接続を追加する
- 前提条件の手順で設定したソース MongoDB データベースの接続情報を入力します。
接続情報の入力を始める前に、ファイアウォールのルールで ClickPipes の IP アドレスを許可リストに追加していることを確認してください。次のページで、ClickPipes の IP アドレス一覧を確認できます。
詳しくは、このページ上部にリンクされているソース MongoDB のセットアップガイドを参照してください。
(任意) SSHトンネリングを設定する
- 「Use SSH Tunnelling」トグルを有効にします。
- SSH接続の詳細を入力します。
-
鍵ベースの認証を使用するには、「Revoke and generate key pair」をクリックして新しいキーペアを生成し、生成された公開鍵をSSHサーバーの
~/.ssh/authorized_keysにコピーします。 - 「Verify Connection」をクリックして、接続を確認します。
ClickPipesがSSHトンネルを確立できるように、SSH踏み台サーバーのファイアウォールルールでClickPipes の IP アドレスを許可してください。
Nextをクリックします。
詳細設定を行う
- Sync interval: ClickPipes が変更を確認するためにソースデータベースをポーリングする間隔です。これは宛先の ClickHouse サービスのコストに影響するため、コストを重視する場合は高めの値 (
3600超) に設定することを推奨します。 - Pull batch size: 1 回のバッチで取得する行数です。これはベストエフォートの設定であり、常に適用されるとは限りません。
- Snapshot number of tables in parallel: 初回スナップショット時に並列に取得するテーブル数です。テーブル数が多い場合に、並列に取得するテーブル数を制御するのに役立ちます。
テーブルを設定する
- ここでは、ClickPipe の宛先データベースを選択できます。既存のデータベースを選ぶことも、新しく作成することもできます。
- コピー元の MongoDB データベースからレプリケートするテーブルを選択できます。テーブルの選択時には、宛先の ClickHouse データベースでテーブル名を変更することもできます。
権限を確認して ClickPipe を開始する
- 権限のドロップダウンで「Full access」ロールを選択し、「Complete Setup」をクリックします。
次のステップ
注意事項
- MongoDB バージョン 5.1.0 以降が必要です。
- CDC には MongoDB のネイティブな変更ストリーム API を使用しており、リアルタイムの変更の取得には MongoDB の oplog を利用します。
- MongoDB のドキュメントは、デフォルトで JSON type として ClickHouse にレプリケートされます。これにより、スキーマを柔軟に管理できるほか、ClickHouse の豊富な JSON 演算子をクエリや分析に活用できます。JSON データのクエリについて詳しくは、こちらをご覧ください。
- 現在、セルフサービスでの PrivateLink 構成には対応していません。AWS をご利用で PrivateLink が必要な場合は、db-integrations-support@clickhouse.com までご連絡いただくか、サポートチケットを作成してください。有効化に向けて対応します。