こちらからプライベートプレビューのウェイトリストに登録できます。
前提条件
- GCP プロジェクトで サービス アカウント と IAM ロール を管理する権限が必要です。権限がない場合は、管理者に支援を依頼してください。公式ドキュメントに従って、必要最小限の権限を付与した専用のサービス アカウントを作成することを推奨します。
- 初期ロードでは、ステージング用にユーザーが用意した Google Cloud Storage (GCS) バケットが必要です。公式ドキュメントに従って、ClickPipe 専用のバケットを作成することを推奨します。将来的には、この中間バケットは ClickPipes が提供および管理する予定です。
データソースを選択する
1. ClickHouse Cloud で、メインナビゲーションメニューから Data sources を選択し、Create ClickPipe をクリックします。2. BigQuery タイルをクリックします。ClickPipe 接続を設定する
新しい ClickPipe を設定するには、BigQuery データウェアハウスへの接続方法と認証情報に加え、ステージング用の GCS バケットを指定する必要があります。1. ClickPipes 用に作成したサービスアカウントの.json 秘密鍵をアップロードします。サービスアカウントに、必要最小限の permissions が付与されていることを確認してください。2. Replication method を選択します。プライベートプレビューでは、サポートされているオプションは Initial load only のみです。3. 初期ロード中のデータをステージングするための GCS バケットのパスを指定します。4. Next をクリックして検証します。ClickPipe を設定する
BigQuery データセットのサイズや、同期するテーブルの合計サイズによっては、ClickPipe のデフォルトのインジェスト設定を調整する必要がある場合があります。テーブルを設定する
1. BigQuery テーブルのレプリケーション先となる ClickHouse データベースを選択します。既存のデータベースを選択することも、新しく作成することもできます。2. レプリケートするテーブルと、必要に応じてカラムを選択します。一覧には、指定したサービスアカウントがアクセスできるデータセットのみが表示されます。3. 選択した各テーブルについて、Advanced settings > Use a custom sorting key で必ずカスタムソートキーを定義してください。将来的には、ソートキーはアップストリームのデータベースにある既存のクラスタリングキーまたはパーティション化キーに基づいて自動的に推定されるようになります。権限を設定する
最後に、ClickPipes の内部ユーザーに対する権限を設定できます。Permissions: ClickPipes は、宛先テーブルにデータを書き込むための専用ユーザーを作成します。この内部ユーザーには、カスタムロールまたは事前定義されたロールのいずれかを割り当てられます。Full access: クラスターへのフルアクセス。宛先テーブルで materialized view または Dictionary を使用する場合に必要です。Only destination: 宛先テーブルへの INSERT 権限のみ。