Перейти к основному содержанию
Вы можете использовать AWS PrivateLink для организации защищённого подключения между VPC, сервисами AWS, вашими системами в собственной инфраструктуре и ClickHouse Cloud без вывода трафика в публичный Интернет. В этом документе описана функциональность обратной частной конечной точки ClickPipes, которая позволяет настроить VPC-конечную точку AWS PrivateLink.

​
Поддерживаемые источники данных ClickPipes

Функция обратной частной конечной точки в ClickPipes доступна только для следующих типов источников данных:
  • Kafka
  • Postgres
  • MySQL
  • MongoDB
Обратную частную конечную точку ClickPipes можно настроить с помощью одного из следующих механизмов AWS PrivateLink:

​
Ресурс VPC

Межрегиональная работа не поддерживается.
К ресурсам VPC можно получить доступ в ClickPipes с помощью PrivateLink. Этот подход не требует настраивать балансировщик нагрузки перед источником данных. Конфигурацию ресурса можно привязать к конкретному хосту или ARN кластера RDS. Это предпочтительный вариант для Postgres CDC при ингестии данных из кластера RDS. Чтобы настроить PrivateLink для ресурса VPC:
  1. Создайте шлюз ресурса
  2. Создайте конфигурацию ресурса
  3. Создайте общий доступ к ресурсу
1

​
Создайте шлюз ресурсов

Шлюз ресурсов — это точка, которая принимает трафик для указанных ресурсов в вашей VPC.
Для подсетей, подключенных к шлюзу ресурсов, рекомендуется, чтобы было доступно достаточное количество IP-адресов. Рекомендуется использовать для каждой подсети маску не менее /26.Для каждой конечной точки VPC (каждой обратной частной конечной точки) AWS требует непрерывный блок из 16 IP-адресов в каждой подсети. (маска подсети /28) Если это требование не выполнено, обратная частная конечная точка перейдёт в состояние ошибки.
Вы можете создать шлюз ресурсов в консоли AWS или с помощью следующей команды:
aws vpc-lattice create-resource-gateway \
    --vpc-identifier <VPC_ID> \
    --subnet-ids <SUBNET_IDS> \
    --security-group-ids <SG_IDs> \
    --name <RESOURCE_GATEWAY_NAME>
В выходных данных будет указан идентификатор resource gateway, который понадобится на следующем шаге.Прежде чем продолжить, дождитесь, пока resource gateway перейдёт в состояние Active. Проверить его состояние можно, выполнив следующую команду:
aws vpc-lattice get-resource-gateway \
    --resource-gateway-identifier <RESOURCE_GATEWAY_ID>
2

​
Создайте конфигурацию ресурса VPC

Конфигурация ресурса связывается со шлюзом ресурса, чтобы предоставить доступ к вашему ресурсу.Вы можете создать конфигурацию ресурса в консоли AWS или с помощью следующей команды:
aws vpc-lattice create-resource-configuration \
    --resource-gateway-identifier <RESOURCE_GATEWAY_ID> \
    --type <RESOURCE_CONFIGURATION_TYPE> \
    --resource-configuration-definition <RESOURCE_CONFIGURATION_DEFINITION> \
    --name <RESOURCE_CONFIGURATION_NAME>
Самый простой тип конфигурации ресурса — это одна Resource-Configuration. Её можно настроить напрямую по ARN либо предоставить общий доступ к IP-адресу или доменному имени, доступному для публичного разрешения.Например, чтобы настроить её с использованием ARN кластера RDS:
aws vpc-lattice create-resource-configuration \
    --name my-rds-cluster-config \
    --type ARN \
    --resource-gateway-identifier rgw-0bba03f3d56060135 \
    --resource-configuration-definition 'arnResource={arn=arn:aws:rds:us-east-1:123456789012:cluster:my-rds-cluster}'
Нельзя создать конфигурацию ресурса для общедоступного кластера. Если ваш кластер общедоступен, перед созданием конфигурации ресурса необходимо сделать его приватным или вместо этого использовать список разрешённых IP-адресов. Подробнее см. в документации AWS.
В выходных данных будут указаны ARN конфигурации ресурса и ID конфигурации ресурса. ARN понадобится на следующем шаге, а ID — для настройки подключения ClickPipe с ресурсом VPC.
3

​
Создайте Resource-Share

Чтобы открыть общий доступ к ресурсу, требуется Resource-Share. Это делается через Resource Access Manager (RAM).
Resource-Share можно использовать только для одной обратной частной конечной точки; повторное использование невозможно. Если одну и ту же Resource-Configuration нужно использовать для нескольких обратных частных конечных точек, необходимо создать отдельный Resource-Share для каждой конечной точки. Resource-Share остается в вашей учетной записи AWS после удаления обратной частной конечной точки и, если он больше не нужен, его необходимо удалить вручную.
Вы можете добавить Resource-Configuration в Resource-Share через консоль AWS или выполнив следующую команду с ID учетной записи ClickPipes 072088201116 (arn:aws:iam::072088201116:root):
aws ram create-resource-share \
    --principals 072088201116 \
    --resource-arns <RESOURCE_CONFIGURATION_ARN> \
    --name <RESOURCE_SHARE_NAME>
В выходных данных будет указан ARN общего доступа к ресурсу, который понадобится для настройки подключения ClickPipe с ресурсом VPC.Теперь вы готовы создать ClickPipe с обратной частной конечной точкой, используя ресурс VPC. Для этого необходимо:
  • Установить для VPC endpoint type значение VPC Resource.
  • Установить для Resource configuration ID идентификатор Resource-Configuration, созданной на шаге 2.
  • Установить для Resource share ARN ARN общего доступа к ресурсу Resource-Share, созданного на шаге 3.
Подробнее о PrivateLink с ресурсом VPC см. в документации AWS.

​
Подключение MSK multi-VPC

Подключение Multi-VPC — это встроенная возможность AWS MSK, которая позволяет подключать несколько VPC к одному кластеру MSK. Поддержка Private DNS доступна из коробки и не требует дополнительной настройки. Межрегиональное подключение не поддерживается. Это рекомендуемый вариант для ClickPipes for MSK. Подробности см. в руководстве Начало работы.
Обновите политику кластера MSK и добавьте 072088201116 в список разрешённых субъектов для вашего кластера MSK. Подробности см. в руководстве AWS по присоединению политики кластера.
Следуйте нашему руководству по настройке MSK для ClickPipes, чтобы узнать, как настроить подключение.

​
VPC endpoint service

VPC endpoint service — ещё один способ предоставить ClickPipes доступ к вашему источнику данных. Для этого нужно настроить NLB (Network Load Balancer) перед вашим источником данных и настроить VPC endpoint service на использование NLB. VPC endpoint service можно настроить с приватным DNS, который будет доступен в VPC ClickPipes. Это предпочтительный вариант для:
  • Любой конфигурации Kafka в собственной инфраструктуре, где требуется поддержка приватного DNS
  • Межрегионального подключения для Postgres CDC
  • Межрегионального подключения для кластера MSK. Для получения помощи обратитесь в службу поддержки ClickHouse.
Дополнительные сведения см. в руководстве по началу работы.
Добавьте ID аккаунта ClickPipes 072088201116 в список разрешённых субъектов для вашего VPC endpoint service. Дополнительные сведения см. в руководстве AWS по управлению разрешениями.
Для ClickPipes можно настроить межрегиональный доступ. Добавьте регион вашего ClickPipe в список разрешённых регионов в вашем VPC endpoint service.

​
Создание ClickPipe с обратной частной конечной точкой

  1. Откройте SQL Console для вашего сервиса ClickHouse Cloud.
  1. Выберите кнопку Data Sources в меню слева и нажмите «Set up a ClickPipe»
  1. Выберите Kafka или Postgres в качестве источника данных.
  1. Выберите опцию Reverse private endpoint.
  1. Выберите одну из существующих обратных частных конечных точек или создайте новую.
Если для RDS требуется межрегиональный доступ, необходимо создать VPC endpoint service, и это руководство станет хорошей отправной точкой для его настройки.Для доступа в пределах одного региона рекомендуется использовать ресурс VPC.
  1. Укажите обязательные параметры для выбранного типа конечной точки.
  • Для ресурса VPC укажите ARN общего доступа к configuration и идентификатор configuration.
    • Для MSK multi-VPC укажите ARN кластера и метод аутентификации, используемый с созданной конечной точкой.
    • Для VPC endpoint service укажите Service name.
  1. Нажмите Create и дождитесь, пока обратная частная конечная точка будет готова. Если вы создаете новую конечную точку, её подготовка займет некоторое время. Страница обновится автоматически, как только конечная точка будет готова. Для VPC endpoint service может потребоваться принять запрос на подключение в консоли AWS.
  1. Когда конечная точка будет готова, вы сможете использовать DNS-имя для подключения к источнику данных. В списке конечных точек отображается DNS-имя доступной конечной точки. Это может быть как внутреннее DNS-имя, подготовленное ClickPipes, так и частное DNS-имя, предоставленное сервисом PrivateLink. DNS-имя не является полным сетевым адресом. Добавьте порт в соответствии с источником данных. Строку подключения MSK можно получить в консоли AWS. Чтобы увидеть полный список DNS-имён, откройте настройки сервиса ClickHouse Cloud.

​
Управление существующими обратными частными конечными точками

Управлять существующими обратными частными конечными точками можно в настройках сервиса ClickHouse Cloud:
  1. На боковой панели найдите кнопку Settings и нажмите ее.
  2. В разделе ClickPipe reverse private endpoints нажмите Reverse private endpoints. Подробная информация об обратной частной конечной точке отображается на выдвижной панели. Здесь можно удалить конечную точку. Это повлияет на все ClickPipes, использующие эту конечную точку.
Поддержка AWS PrivateLink для ClickPipes ограничена определенными регионами AWS. Список доступных регионов см. в списке регионов ClickPipes. Это ограничение не распространяется на VPC endpoint service PrivateLink с включенным межрегиональным подключением.

​
Ограничения

Не гарантируется, что конечные точки AWS PrivateLink для ClickPipes, созданные в ClickHouse Cloud, будут созданы в том же регионе AWS, что и сервис ClickHouse Cloud. В настоящее время только VPC endpoint service поддерживает межрегиональное подключение. Частные конечные точки привязаны к конкретному сервису ClickHouse и не могут быть перенесены между сервисами. Несколько ClickPipes для одного сервиса ClickHouse могут повторно использовать одну и ту же конечную точку. AWS MSK поддерживает только один PrivateLink (VPC endpoint) для каждого кластера MSK и каждого типа аутентификации (SASL_IAM или SASL_SCRAM). В результате несколько сервисов ClickHouse Cloud или организаций не могут создавать отдельные подключения PrivateLink к одному и тому же кластеру MSK, используя один и тот же тип аутентификации.

​
Автоматическая очистка неактивных конечных точек

Обратные частные конечные точки, остающиеся в терминальном состоянии, автоматически удаляются после заданного льготного периода. Это позволяет избежать бессрочного существования неиспользуемых или неверно настроенных конечных точек. В зависимости от статуса конечной точки действуют следующие льготные периоды:
СтатусЛьготный периодОписание
Failed7 днейВо время подготовки конечной точки произошла ошибка.
Pending Acceptance1 деньПодключение конечной точки не было принято владельцем сервиса.
Rejected1 деньПодключение конечной точки было отклонено владельцем сервиса.
ExpiredНемедленноСрок действия конечной точки уже истёк, и она удаляется сразу.
После истечения льготного периода конечная точка и все связанные с ней ресурсы автоматически удаляются. Чтобы предотвратить автоматическое удаление, устраните основную проблему до истечения льготного периода. Например, примите ожидающий запрос на подключение в консоли AWS или заново создайте конечную точку, если она перешла в состояние ошибки.
Последнее изменение 10 июня 2026 г.