MySQL ClickPipe の同期を制御する

MySQL ClickPipe の同期制御に関するドキュメント

このドキュメントでは、ClickPipe が CDC (変更データキャプチャ) (Running) モード の場合に、MySQL ClickPipe の同期を制御する方法を説明します。

​

概要

Database ClickPipes は、ソースデータベースからデータを取得する処理と、移行先データベースへデータを送信する処理という、並行して動作する 2 つのプロセスから成るアーキテクチャです。取得側のプロセスは同期設定によって制御され、データをどのくらいの頻度で取得するか、また 1 回にどの程度のデータを取得するかを定義します。ここでいう「1 回」とは 1 バッチのことで、ClickPipe はデータをバッチ単位で取得および送信します。

MySQL ClickPipe の同期を制御する主な方法は 2 つあります。以下の設定のいずれかの条件を満たすと、ClickPipe はデータの送信を開始します。

​

同期間隔

パイプの同期間隔は、ClickPipe がソースデータベースからレコードを取得する時間の長さ (秒単位) です。取得したデータを ClickHouse に送信する時間は、この間隔には含まれません。

既定値は1 分です。 同期間隔には任意の正の整数値を設定できますが、10 秒を超える値にすることを推奨します。

​

Pull バッチサイズ

Pull バッチサイズは、ClickPipe がソースデータベースから 1 回のバッチで取得するレコード数です。ここでいうレコードとは、そのパイプに含まれるテーブルに対する insert、更新、削除を指します。

デフォルトは 100,000 レコードです。 安全な最大値は 1,000 万レコードです。

​

例外: ソース上の長時間実行トランザクション

ソースデータベース上でトランザクションが実行されると、ClickPipe はそのトランザクションの COMMIT を受信するまで待機してから処理を進めます。これにより、同期間隔と Pull バッチサイズの両方よりもこちらが優先されます。

​

同期設定の構成

ClickPipe の作成時または既存の ClickPipe の編集時に、同期間隔と Pull バッチサイズを設定できます。 ClickPipe の作成時には、以下のように作成ウィザードの 2 番目のステップで設定できます。

既存の ClickPipe を編集する場合は、パイプの Settings タブに移動し、パイプを一時停止してから、ここで Configure をクリックします。

すると、同期設定を表示するフライアウトが開き、そこで同期間隔と Pull バッチサイズを変更できます。

​

同期制御の挙動を監視する

各バッチにかかる時間は、ClickPipe の Metrics タブにある CDC Syncs テーブルで確認できます。ここでの所要時間には、プッシュにかかる時間に加え、受信する行がない場合に ClickPipe が待機する時間も含まれます。