Приём данных из MySQL в ClickHouse Cloud через ClickPipes доступен в рамках публичной бета-версии.
Предварительные требования
Поддерживаемые источники данных
| Name | Logo | Details |
|---|---|---|
| Amazon RDS MySQL Однократная загрузка, CDC | См. руководство по настройке Amazon RDS MySQL. | |
| Amazon Aurora MySQL Однократная загрузка, CDC | См. руководство по настройке Amazon Aurora MySQL. | |
| Cloud SQL for MySQL Однократная загрузка, CDC | См. руководство по настройке Cloud SQL for MySQL. | |
| Azure Flexible Server for MySQL Однократная загрузка | См. руководство по настройке Azure Flexible Server for MySQL. | |
| Самоуправляемый MySQL Однократная загрузка, CDC | См. руководство по настройке Общий MySQL. | |
| Amazon RDS MariaDB Однократная загрузка, CDC | См. руководство по настройке Amazon RDS MariaDB. | |
| Самоуправляемый MariaDB Однократная загрузка, CDC | См. руководство по настройке Общий MariaDB. |
Создайте ClickPipe
- В консоли ClickHouse Cloud перейдите к своему сервису ClickHouse Cloud.
- Выберите кнопку
Data Sourcesв меню слева и нажмите «Set up a ClickPipe»
- Выберите плитку
MySQL CDC
Добавьте подключение к исходной базе данных MySQL
- Заполните сведения о подключении к вашей исходной базе данных MySQL, которую вы настроили на этапе предварительной подготовки.
Прежде чем добавлять сведения о подключении, убедитесь, что IP-адреса ClickPipes добавлены в список разрешённых в правилах брандмауэра. На следующей странице вы найдёте список IP-адресов ClickPipes.
Дополнительные сведения см. в руководствах по настройке исходной базы данных MySQL, ссылки на которые приведены в верхней части этой страницы.
(Необязательно) Настройте SSH-туннелирование
- Включите переключатель “Use SSH Tunnelling”.
- Заполните сведения для SSH-подключения.
-
Чтобы использовать аутентификацию по ключу, нажмите “Revoke and generate key pair”, чтобы создать новую пару ключей, и скопируйте сгенерированный открытый ключ на ваш SSH-сервер в
~/.ssh/authorized_keys. - Нажмите “Verify Connection”, чтобы проверить подключение.
Убедитесь, что IP-адреса ClickPipes добавлены в список разрешённых в правилах вашего брандмауэра для SSH-бастиона, чтобы ClickPipes мог установить SSH-туннель.
Next.
Настройка расширенных параметров
- Интервал синхронизации: интервал, с которым ClickPipes будет опрашивать исходную базу данных на предмет изменений. Это влияет на целевой сервис ClickHouse, поэтому пользователям, чувствительным к затратам, рекомендуется задавать здесь более высокое значение (свыше
3600). - Параллельные потоки для начальной загрузки: количество параллельных воркеров, которые будут использоваться для получения начального снимка. Это полезно, если у вас много таблиц и вы хотите управлять числом параллельных воркеров, используемых для получения начального снимка. Этот параметр задается отдельно для каждой таблицы.
- Размер батча Pull: количество строк, извлекаемых за один батч. Это параметр best effort, поэтому он может соблюдаться не во всех случаях.
- Количество строк снимка на партицию: количество строк, которое будет извлекаться в каждой партиции во время начального снимка. Это полезно, если в ваших таблицах много строк и вы хотите управлять количеством строк, извлекаемых в каждой партиции.
- Количество таблиц в снимке, обрабатываемых параллельно: количество таблиц, которые будут извлекаться параллельно во время начального снимка. Это полезно, если у вас много таблиц и вы хотите управлять количеством таблиц, извлекаемых параллельно.
Настройте таблицы
- Здесь вы можете выбрать целевую базу данных для вашего ClickPipe. Можно выбрать существующую базу данных или создать новую.
- Вы можете выбрать таблицы, которые хотите реплицировать из исходной базы данных MySQL. При выборе таблиц также можно переименовать их в целевой базе данных ClickHouse и исключить отдельные столбцы.
Проверьте разрешения и запустите ClickPipe
- Выберите роль “Full access” в раскрывающемся списке разрешений и нажмите “Complete Setup”.