Введение
Поддерживаемые источники данных
| Название | Логотип | Тип | Статус | Описание |
|---|---|---|---|---|
| Apache Kafka |  | Стриминг | Стабильный | Настройте ClickPipes и начните приём потоковых данных из Apache Kafka в ClickHouse Cloud. |
| Confluent Cloud |  | Стриминг | Стабильный | Оцените объединённые возможности Confluent и ClickHouse Cloud благодаря нашей прямой интеграции. |
| Redpanda |  | Стриминг | Стабильный | Настройте ClickPipes и начните приём потоковых данных из Redpanda в ClickHouse Cloud. |
| AWS MSK |  | Стриминг | Стабильный | Настройте ClickPipes и начните приём потоковых данных из AWS MSK в ClickHouse Cloud. |
| Azure Event Hubs |  | Стриминг | Стабильный | Настройте ClickPipes и начните приём потоковых данных из Azure Event Hubs в ClickHouse Cloud. Рекомендации см. в Azure Event Hubs FAQ. |
| WarpStream |  | Стриминг | Стабильный | Настройте ClickPipes и начните приём потоковых данных из WarpStream в ClickHouse Cloud. |
| Amazon S3 |  | Объектное хранилище | Стабильный | Настройте ClickPipes для приёма больших объёмов данных из объектного хранилища. |
| Google Cloud Storage |  | Объектное хранилище | Стабильный | Настройте ClickPipes для приёма больших объёмов данных из объектного хранилища. |
| DigitalOcean Spaces |  | Объектное хранилище | Стабильный | Настройте ClickPipes для приёма больших объёмов данных из объектного хранилища. |
| Azure Blob Storage |  | Объектное хранилище | Стабильный | Настройте ClickPipes для приёма больших объёмов данных из объектного хранилища. |
| Amazon Kinesis |  | Стриминг | Стабильный | Настройте ClickPipes и начните приём потоковых данных из Amazon Kinesis в ClickHouse Cloud. |
| Postgres |  | СУБД | Стабильный | Настройте ClickPipes и начните приём данных из Postgres в ClickHouse Cloud. |
| MySQL |  | СУБД | Публичная бета | Настройте ClickPipes и начните приём данных из MySQL в ClickHouse Cloud. |
| MongoDB |  | СУБД | Закрытая предварительная версия | Настройте ClickPipes и начните приём данных из MongoDB в ClickHouse Cloud. |
Список статических IP-адресов
- eu-central-1: Для всех регионов ЕС, не указанных явно, а также для регионов Azure в ЕС и сервисов Google Cloud в ЕС, созданных до 27 мая 2026 года.
- eu-west-1: Для всех сервисов в AWS
eu-west-1, созданных 20 января 2026 года или позднее (сервисы, созданные до этой даты, используют IP-адресаeu-central-1). - us-east-1: Для всех сервисов в AWS
us-east-1. - ap-south-1: Для сервисов в AWS
ap-south-1, созданных 25 июня 2025 года или позднее (сервисы, созданные до этой даты, используют IP-адресаus-east-2). - ap-northeast-2: Для сервисов в AWS
ap-northeast-2, созданных 14 ноября 2025 года или позднее (сервисы, созданные до этой даты, используют IP-адресаus-east-2). - af-south-1: Для сервисов в AWS
af-south-1, созданных 15 апреля 2026 года или позднее (сервисы, созданные до этой даты, используют IP-адресаus-east-2). - ap-east-1: Для сервисов в AWS
ap-east-1, созданных 15 апреля 2026 года или позднее (сервисы, созданные до этой даты, используют IP-адресаus-east-2). - ap-northeast-1: Для сервисов в AWS
ap-northeast-1, созданных 15 апреля 2026 года или позднее (сервисы, созданные до этой даты, используют IP-адресаus-east-2). - ap-southeast-1: Для сервисов в AWS
ap-southeast-1, созданных 18 марта 2026 года или позднее (сервисы, созданные до этой даты, используют IP-адресаus-east-2). - ap-southeast-2: Для сервисов в AWS
ap-southeast-2, созданных 25 июня 2025 года или позднее (сервисы, созданные до этой даты, используют IP-адресаus-east-2). - ap-southeast-3: Для сервисов в AWS
ap-southeast-3, созданных 6 марта 2026 года или позднее (сервисы, созданные до этой даты, используют IP-адресаus-east-2). - ca-central-1: Для сервисов в AWS
ca-central-1, созданных 15 апреля 2026 года или позднее (сервисы, созданные до этой даты, используют IP-адресаus-east-2). - eu-north-1: Для сервисов в AWS
eu-north-1, созданных 15 апреля 2026 года или позднее (сервисы, созданные до этой даты, используют IP-адресаeu-central-1). - eu-west-2: Для сервисов в AWS
eu-west-2, созданных 15 апреля 2026 года или позднее (сервисы, созданные до этой даты, используют IP-адресаeu-central-1). - il-central-1: Для сервисов в AWS
il-central-1, созданных 15 апреля 2026 года или позднее (сервисы, созданные до этой даты, используют IP-адресаus-east-2). - sa-east-1: Для сервисов в AWS
sa-east-1, созданных 15 апреля 2026 года или позднее (сервисы, созданные до этой даты, используют IP-адресаus-east-2). - us-west-2: Для сервисов в AWS
us-west-2, созданных 24 июня 2025 года или позднее (сервисы, созданные до этой даты, используют IP-адресаus-east-2). - us-east-2: Для всех остальных регионов, которые не подпадают под приведённые выше правила, включая регионы Azure и сервисы Google Cloud, созданные до 27 мая 2026 года.
Статические NAT IP-адреса в AWS
| Регион AWS | IP-адреса |
|---|---|
| eu-central-1 - Франкфурт | 18.195.233.217, 3.127.86.90, 35.157.23.2, 18.197.167.47, 3.122.25.29, 52.28.148.40 |
| eu-west-1 - Ирландия (с 20 января 2026 г.) | 54.228.1.92 , 54.72.101.254, 54.228.16.208, 54.76.200.104, 52.211.2.177, 54.77.10.134 |
| us-east-1 - Северная Вирджиния | 54.82.38.199, 3.90.133.29, 52.5.177.8, 3.227.227.145, 3.216.6.184, 54.84.202.92, 3.131.130.196, 3.23.172.68, 3.20.208.150 |
| us-east-2 - Огайо | 3.131.130.196, 3.23.172.68, 3.20.208.150, 3.132.20.192, 18.119.76.110, 3.134.185.180 |
| ap-south-1 — Мумбаи (с 25 июня 2025 г.) | 13.203.140.189, 13.232.213.12, 13.235.145.208, 35.154.167.40, 65.0.39.245, 65.1.225.89 |
| ap-northeast-2 - Сеул (с 14 нояб. 2025) | 3.38.68.69, 52.78.68.128, 13.209.152.13, 3.38.24.84, 3.37.159.31, 3.34.25.104 |
| ap-southeast-1 — Сингапур (с 18 марта 2026 г.) | 13.215.65.134, 18.139.118.108, 47.130.197.47, 54.251.134.219, 54.254.98.29, 54.255.153.106 |
| ap-southeast-2 - Сидней (с 25 июня 2025) | 3.106.48.103, 52.62.168.142, 13.55.113.162, 3.24.61.148, 54.206.77.184, 54.79.253.17 |
| af-south-1 - Кейптаун (с 15 апреля 2026) | 13.245.187.24, 15.240.60.178, 15.240.81.191, 13.245.25.101, 13.245.91.225, 15.240.54.195 |
| ap-east-1 - Гонконг (с 15 апр. 2026 г.) | 18.166.168.168, 43.199.224.85, 95.40.0.242, 16.162.107.229, 43.199.125.240, 54.46.86.27 |
| ap-northeast-1 - Токио (с 15 апреля 2026 г.) | 54.168.88.92, 35.76.97.79, 54.64.100.89, 54.178.40.17, 52.195.101.208, 13.193.109.245 |
| ap-southeast-1 - Сингапур (с 18 марта 2026) | 47.130.197.47, 54.251.134.219, 18.139.118.108, 54.255.153.106, 54.254.98.29, 13.215.65.134 |
| ap-southeast-3 - Джакарта (с 6 марта 2026) | 16.78.195.195, 43.218.184.235, 16.79.88.54, 16.78.153.162, 16.79.6.125, 108.137.52.155 |
| ca-central-1 - Канада (с 15 апр. 2026) | 52.60.123.235, 3.97.222.98, 3.99.62.248, 15.223.61.186, 3.96.255.101, 3.97.29.96 |
| eu-north-1 - Стокгольм (с 15 апреля 2026 г.) | 13.63.1.65, 16.171.127.30, 56.228.76.44, 13.63.101.248, 16.170.124.188, 13.60.109.201 |
| eu-west-2 - Лондон (с 15 апреля 2026) | 13.134.82.158, 16.60.209.167, 18.134.221.203, 16.60.139.176, 13.43.66.75, 3.11.78.183 |
| il-central-1 - Тель-Авив (с 15 апреля 2026 г.) | 16.164.25.13, 51.84.162.29, 51.85.90.183, 51.84.36.146, 51.84.72.29, 51.85.28.184 |
| sa-east-1 - Сан-Паулу (с 15 апреля 2026) | 18.230.164.131, 56.126.1.234, 18.230.39.24, 15.229.102.116, 18.230.174.204, 18.229.237.116 |
| us-west-2 - Орегон (с 24 июня 2025 г.) | 52.42.100.5, 44.242.47.162, 52.40.44.52, 44.227.206.163, 44.246.241.23, 35.83.230.19 |
Google Cloud статические NAT IP-адреса
| Регион Google Cloud | IP-адреса |
|---|---|
| asia-northeast1 - Токио (с 27 мая 2026 года) | 104.198.114.210, 35.221.66.81, 35.243.126.127, 136.110.107.86, 34.85.18.112 |
| asia-southeast1 - Сингапур (с 27 мая 2026 года) | 34.21.197.28, 35.197.141.23, 35.197.157.90, 136.110.17.200, 35.185.179.231 |
| europe-west2 - Лондон (с 27 мая 2026 года) | 35.242.131.178, 34.39.77.101, 34.39.47.179, 34.89.53.234, 8.228.63.151 |
| europe-west4 - Нидерланды (с 27 мая 2026 года) | 34.34.86.3, 34.6.175.56, 34.178.6.187, 34.91.204.220, 34.12.85.206 |
| us-central1 - Айова (с 27 мая 2026 года) | 34.28.24.54, 34.42.56.195, 34.63.141.9, 35.238.146.37, 34.10.251.49 |
| us-east1 - Южная Каролина (с 27 мая 2026 года) | 34.24.134.232, 34.24.214.165, 34.24.20.1, 35.243.193.248, 34.23.98.76 |
Настройка параметров ClickHouse
- создайте пользовательскую роль
CREATE ROLE my_clickpipes_role SETTINGS .... Подробнее см. в разделе о синтаксисе CREATE ROLE. - добавьте пользовательскую роль пользователю ClickPipes на этапе
Details and Settingsпри создании ClickPipes.
Настройка расширенных настроек ClickPipes
ClickPipes для объектного хранилища
| Настройка | Значение по умолчанию | Описание |
|---|---|---|
Max insert bytes | 10 GB | Количество байт, обрабатываемых в одном батче вставки. |
Max file count | 100 | Максимальное количество файлов, обрабатываемых в одном батче вставки. |
Max threads | auto(3) | Максимальное количество параллельных потоков для обработки файлов. |
Max insert threads | 1 | Максимальное количество параллельных потоков вставки для обработки файлов. |
Min insert block size bytes | 1 GB | Минимальный размер блока в байтах, который можно вставить в таблицу. |
Max download threads | 4 | Максимальное количество параллельных потоков скачивания. |
Object storage polling interval | 30 s | Задаёт максимальный интервал ожидания перед вставкой данных в кластер ClickHouse. |
Parallel distributed insert select | 2 | Параметр Parallel distributed insert select. |
Parallel view processing | false | Включает отправку в присоединённые представления параллельно, а не последовательно. |
Use cluster function | true | Определяет, следует ли обрабатывать файлы параллельно на нескольких узлах. |
ClickPipes для стриминга
| Настройка | Значение по умолчанию | Описание |
|---|---|---|
Streaming max insert wait time | 5 s | Задает максимальное время ожидания перед вставкой данных в кластер ClickHouse. |
Отчёт об ошибках
Ошибки записей
<destination_table_name>_clickpipes_error. В этой таблице будут содержаться все ошибки, вызванные некорректными данными или несоответствием схемы, а также полное содержимое недопустимого сообщения. Для этой таблицы установлен TTL 7 дней.
Системные ошибки
system.clickpipes_log. В ней будут храниться все прочие ошибки, связанные с работой вашего ClickPipe (сетевые ошибки, проблемы с подключением и т. д.). Для этой таблицы TTL составляет 7 дней.
Если ClickPipes не сможет подключиться к источнику данных в течение 15 минут или к пункту назначения в течение 1 часа, экземпляр ClickPipes будет остановлен, а в системной таблице ошибок будет сохранено соответствующее сообщение (при условии, что экземпляр ClickHouse доступен).
Мониторинг
FAQ
- Что такое ClickPipes? ClickPipes — это возможность ClickHouse Cloud, которая упрощает подключение сервисов ClickHouse к внешним источникам данных, в частности к Kafka. С ClickPipes for Kafka вы можете легко организовать непрерывную загрузку данных в ClickHouse, делая их доступными для Real-time аналитики.
- Поддерживает ли ClickPipes преобразование данных? Да, ClickPipes поддерживает базовое преобразование данных, предоставляя доступ к созданию DDL. Затем по мере загрузки данных в целевую таблицу в сервисе ClickHouse Cloud вы можете применять к ним более сложные преобразования с помощью возможности materialized view ClickHouse.
- Влечет ли использование ClickPipes дополнительные расходы? ClickPipes тарифицируется по двум параметрам: принимаемые данные и Compute. Подробная информация о ценах доступна на этой странице. Использование ClickPipes также может косвенно приводить к дополнительным затратам на compute и хранилище в целевом сервисе ClickHouse Cloud, как и любая рабочая нагрузка приёма данных.
- Есть ли способ обрабатывать ошибки или сбои при использовании ClickPipes for Kafka? Да, ClickPipes for Kafka автоматически выполняет повторные попытки при сбоях во время чтения данных из Kafka, вызванных любыми эксплуатационными проблемами, включая сетевые проблемы, проблемы с подключением и т. д. В случае некорректно сформированных данных или недопустимой схемы ClickPipes сохранит запись в таблицу record_error и продолжит обработку.