Жизненный цикл MongoDB ClickPipe

Различные статусы пайпа и их значения

В этом документе описаны различные этапы жизненного цикла MongoDB ClickPipe, возможные статусы и их значения.

​

Подготовка

Когда вы нажимаете кнопку Create ClickPipe, ClickPipe создаётся в состоянии Provisioning. На этапе подготовки мы разворачиваем базовую инфраструктуру для работы ClickPipes в этом сервисе, а также регистрируем исходные метаданные для пайпа. Поскольку вычислительные ресурсы ClickPipes в рамках сервиса являются общими, второй ClickPipe будет создан значительно быстрее первого — инфраструктура уже будет готова.

​

Настройка

После создания пайпа он переходит в состояние Setup. На этом этапе мы создаём таблицы ClickHouse в пункте назначения.

​

Снимок

После завершения настройки система переходит в состояние Snapshot (если только это не пайп только с CDC (фиксация изменений данных) — тогда он перейдёт в Running). Snapshot, Initial Snapshot и Initial Load (более употребительный вариант) — взаимозаменяемые термины. В этом состоянии создаётся снимок исходных коллекций MongoDB, который затем загружается в ClickHouse. Параметр хранения для oplog должен учитывать время первоначальной загрузки. Пайп также переходит в состояние Snapshot, если запускается ресинхронизация или если в существующий пайп добавляются новые таблицы.

​

Работа

После завершения начальной загрузки пайп переходит в состояние Running (если только это не пайп, работающий только со снимком, — тогда он перейдёт в Completed). На этом этапе пайп начинает CDC (фиксацию изменений данных). В этом состоянии мы начинаем передавать изменения из исходного кластера MongoDB в ClickHouse в режиме стриминга. О том, как управлять CDC, см. документацию по управлению CDC.

​

Приостановлен

Когда пайп находится в состоянии Running, его можно приостановить. Это остановит процесс CDC, и пайп перейдёт в состояние Paused. В этом состоянии новые данные из исходной MongoDB не поступают, но уже имеющиеся данные в ClickHouse сохраняются. Из этого состояния пайп можно снова запустить.

​

Приостановка

Это состояние скоро появится. Если вы используете наш OpenAPI, рекомендуем уже сейчас добавить его поддержку, чтобы ваша интеграция продолжала работать, когда оно станет доступно.

Когда вы нажимаете кнопку Pause, пайп переходит в состояние Pausing. Это промежуточное состояние, в котором выполняется остановка процесса CDC. После полной остановки процесса CDC пайп перейдет в состояние Paused.

​

Изменение

Это состояние скоро станет доступно. Если вы используете наш OpenAPI, рекомендуем уже сейчас добавить его поддержку, чтобы ваша интеграция продолжала работать после релиза.

В настоящее время это означает, что пайп находится в процессе удаления таблиц.

​

Ресинхронизация

Это состояние скоро станет доступно. Если вы используете наш OpenAPI, рекомендуем уже сейчас добавить его поддержку, чтобы ваша интеграция продолжала работать после его выхода.

Это состояние означает, что пайп находится в фазе ресинхронизации, на которой выполняется атомарная замена таблиц _resync исходными таблицами. Подробнее о ресинхронизации см. в документации по ресинхронизации.

​

Завершено

Это состояние относится к пайпам только со снимком и означает, что создание снимка завершено и больше ничего делать не нужно.

​

Failed

Если в пайпе возникает неисправимая ошибка, он переходит в состояние Failed. Вы можете обратиться в службу поддержки или выполнить ресинхронизацию своего пайпа, чтобы восстановить его из этого состояния.