ClickPipes 経由で MySQL から ClickHouse Cloud にデータを取り込む機能は、現在パブリックベータです。
前提条件
サポート対象のデータソース
| 名前 | ロゴ | 詳細 |
|---|---|---|
| Amazon RDS MySQL 一度だけロード, CDC (変更データキャプチャ) | Amazon RDS MySQL の設定ガイドに従ってください。 | |
| Amazon Aurora MySQL 一度だけロード, CDC (変更データキャプチャ) | Amazon Aurora MySQL の設定ガイドに従ってください。 | |
| Cloud SQL for MySQL 一度だけロード, CDC (変更データキャプチャ) | Cloud SQL for MySQL の設定ガイドに従ってください。 | |
| Azure Flexible Server for MySQL 一度だけロード | Azure Flexible Server for MySQL の設定ガイドに従ってください。 | |
| セルフホスト MySQL 一度だけロード, CDC (変更データキャプチャ) | Generic MySQL の設定ガイドに従ってください。 | |
| Amazon RDS MariaDB 一度だけロード, CDC (変更データキャプチャ) | Amazon RDS MariaDB の設定ガイドに従ってください。 | |
| セルフホスト MariaDB 一度だけロード, CDC (変更データキャプチャ) | Generic MariaDB の設定ガイドに従ってください。 |
ClickPipe を作成する
- ClickHouse Cloud コンソールで、対象の ClickHouse Cloud サービスを開きます。
- 左側のメニューで
Data Sourcesボタンを選択し、「Set up a ClickPipe」をクリックします
MySQL CDCタイルを選択します
ソース MySQL データベース接続を追加する
- 前提条件の手順で設定したソース MySQL データベースの接続情報を入力します。
接続情報を入力する前に、ファイアウォールのルールで ClickPipes IP addresses を許可リストに追加してあることを確認してください。次のページで ClickPipes IP addresses の一覧 を確認できます。
詳細については、このページの上部 にリンクされているソース MySQL のセットアップガイドを参照してください。
(任意) SSH トンネリングを設定する
- 「Use SSH Tunnelling」トグルを有効にします。
- SSH の接続情報を入力します。
-
鍵ベース認証を使用する場合は、「Revoke and generate key pair」をクリックして新しいキーペアを生成し、生成された公開鍵を SSH サーバーの
~/.ssh/authorized_keysにコピーします。 - 「Verify Connection」をクリックして接続を確認します。
ClickPipes が SSH トンネルを確立できるように、SSH 踏み台サーバーのファイアウォールルールで ClickPipes IP addresses を許可リストに追加してください。
Next をクリックします。
詳細設定を設定する
- 同期間隔: ClickPipes がソースデータベースの変更をポーリングする間隔です。これは宛先の ClickHouse サービスのコストに影響するため、コストを重視する場合は高めの値 (
3600を超える値) に設定することを推奨します。 - 初期ロードの並列スレッド数: 初期スナップショットの取得に使用する並列ワーカー数です。テーブル数が多い場合に、初期スナップショットの取得に使う並列ワーカー数を制御するのに役立ちます。この設定はテーブルごとに適用されます。
- Pull バッチサイズ: 1 回の Batch で取得する行数です。これはベストエフォートの設定であり、すべてのケースで反映されるとは限りません。
- スナップショットのパーティションごとの行数: 初期スナップショット中に各パーティションで取得する行数です。テーブル内の行数が非常に多い場合に、各パーティションで取得する行数を制御するのに役立ちます。
- スナップショットで並列に処理するテーブル数: 初期スナップショット中に並列で取得するテーブル数です。テーブル数が多い場合に、並列に取得するテーブル数を制御するのに役立ちます。
テーブルを設定
- ここでは、ClickPipe の宛先データベースを選択できます。既存のデータベースを選択することも、新しいデータベースを作成することもできます。
- ソース MySQL データベースからレプリケートするテーブルを選択できます。テーブルの選択時には、宛先の ClickHouse データベースでテーブル名を変更したり、特定のカラムを除外したりすることもできます。
権限を確認して ClickPipe を開始する
- 権限のドロップダウンから「Full access」ロールを選択し、「Complete Setup」をクリックします。