控制 MySQL ClickPipe 的同步

用于控制 MySQL ClickPipe 同步的文档

本文档介绍如何在 ClickPipe 处于 CDC (运行中) 模式 时，对 MySQL ClickPipe 的同步进行控制。

​

概述

数据库 ClickPipes 的架构由两个并行流程组成：从源数据库拉取，以及向目标数据库推送。拉取流程由同步配置控制，该配置定义了数据拉取的频率，以及每次拉取的数据量。这里的“每次”指的是一个批次——因为 ClickPipe 是按批次拉取和推送数据的。

控制 MySQL ClickPipe 同步的方式主要有两种。当以下任一设置生效时，ClickPipe 就会开始推送。

​

同步间隔

管道的同步间隔，是指 ClickPipe 从源数据库拉取记录的持续时间 (以秒为单位) 。将已拉取的数据推送到 ClickHouse 所花费的时间不计入该间隔。

默认值为 1 分钟。 同步间隔可设置为任意正整数值，但建议保持在 10 秒以上。

​

拉取批次大小

拉取批次大小是指 ClickPipe 单个批次从源数据库拉取的记录数。这里的记录包括对属于该管道的表执行的 insert、update 和 delete 操作。

默认值为 100,000 条记录。 安全的最大值为 1000 万。

​

一个例外：源端的长时间运行事务

当源数据库上有事务在运行时，ClickPipe 会一直等待，直到收到该事务的 COMMIT 后才会继续处理。这会覆盖同步间隔和拉取批次大小。

​

配置同步设置

您可以在创建 ClickPipe 时设置同步间隔和拉取批次大小，也可以编辑现有 ClickPipe 的这些设置。 创建 ClickPipe 时，这些设置会显示在创建向导的第二步，如下所示：

编辑现有 ClickPipe 时，前往该管道的 设置 选项卡，暂停管道，然后点击此处的 配置：

这将打开一个包含同步设置的弹出面板，您可以在其中更改同步间隔和拉取批次大小：

​

监控同步控制的运行情况

你可以在 ClickPipe 的 指标 选项卡中的 CDC Syncs 表里查看每个批次的耗时。请注意，这里的耗时既包括推送时间；如果没有新行传入，ClickPipe 会进入等待状态，这段等待时间也会计入耗时。