Жизненный цикл MySQL ClickPipe

Различные статусы пайпа и их значения

В этом документе описаны различные этапы жизненного цикла MySQL ClickPipe, возможные статусы пайпа и их значение. Обратите внимание, что всё это также применимо к MariaDB.

​

Подготовка

Когда вы нажимаете кнопку Create ClickPipe, ClickPipe создается в состоянии Provisioning. В ходе подготовки мы разворачиваем базовую инфраструктуру для работы ClickPipes этого сервиса, а также регистрируем начальные метаданные для пайпа. Поскольку вычислительные ресурсы ClickPipes в рамках одного сервиса используются совместно, ваш второй ClickPipe будет создан гораздо быстрее, чем первый, — инфраструктура уже будет готова.

​

Настройка

После подготовки пайпа он переходит в состояние Setup. В этом состоянии мы создаём таблицы ClickHouse в пункте назначения. Здесь же мы получаем и сохраняем определения ваших исходных таблиц.

​

Снимок

После завершения настройки пайп переходит в состояние Snapshot (если это не пайп только для CDC, который перейдет в Running). Snapshot, Initial Snapshot и Initial Load (более распространенный вариант) — взаимозаменяемые термины. В этом состоянии создается снимок исходных таблиц MySQL и загружается в ClickHouse. Срок хранения бинарных логов должен учитывать время, необходимое для первоначальной загрузки. Подробнее о первоначальной загрузке см. в документации по параллельной первоначальной загрузке. Пайп также перейдет в состояние Snapshot, если будет запущена ресинхронизация или если в существующий пайп будут добавлены новые таблицы.

​

Running

После завершения первоначальной загрузки пайп переходит в состояние Running (если это не пайп только со снимком, который в таком случае перейдёт в Completed). На этом этапе для пайпа начинается Change-Data Capture. В этом состоянии мы начинаем читать бинарные логи из исходной базы данных и синхронизировать данные с ClickHouse батчами. Подробнее об управлении CDC см. в документации по управлению CDC.

​

Приостановка

Когда пайп находится в состоянии Running, его можно приостановить. Это остановит процесс CDC, и пайп перейдет в состояние Paused. В этом состоянии новые данные из исходной базы данных не загружаются, но уже имеющиеся данные в ClickHouse сохраняются. Из этого состояния работу пайпа можно возобновить.

​

Приостановка

Это состояние появится в ближайшее время. Если вы используете наш OpenAPI, рекомендуем уже сейчас добавить его поддержку, чтобы ваша интеграция продолжала работать после выхода этой возможности.

Когда вы нажимаете кнопку Pause, пайп переходит в состояние Pausing. Это промежуточное состояние, в котором идет остановка процесса CDC. Как только процесс CDC будет полностью остановлен, пайп перейдет в состояние Paused.

​

Изменение

Это состояние скоро появится. Если вы используете наш OpenAPI, рекомендуем уже сейчас добавить его поддержку, чтобы ваша интеграция продолжала работать, когда оно станет доступно.

Сейчас это означает, что пайп находится в процессе удаления таблиц.

​

Ресинхронизация

Это состояние скоро станет доступно. Если вы используете наш OpenAPI, рекомендуем уже сейчас добавить его поддержку, чтобы ваша интеграция продолжала работать после его выхода.

Это состояние означает, что пайп находится в фазе ресинхронизации, на которой выполняется атомарная подмена таблиц _resync исходными таблицами. Подробнее см. в документации по ресинхронизации.

​

Завершено

Это состояние применяется к пайпам, работающим только со снимком, и означает, что создание снимка завершено и больше ничего делать не нужно.

​

Сбой

Если в пайпе возникнет неустранимая ошибка, он перейдёт в состояние Failed. Чтобы восстановить пайп после этого, обратитесь в службу поддержки или выполните ресинхронизацию его.