Перейти к основному содержанию
Это расширение табличной функции hudi. Позволяет параллельно обрабатывать файлы из таблиц Apache Hudi в Amazon S3 на множестве узлов указанного кластера. На узле-инициаторе создаётся соединение со всеми узлами кластера, после чего каждый файл динамически распределяется между ними. На узле-воркере у инициатора запрашивается следующая задача на обработку, и затем она обрабатывается. Это повторяется, пока не будут завершены все задачи.

​
Синтаксис

hudiCluster(cluster_name, url [,aws_access_key_id, aws_secret_access_key] [,format] [,structure] [,compression] [,extra_credentials])

​
Аргументы

АргументОписание
cluster_nameИмя кластера, используемое для формирования набора адресов и параметров подключения к удалённым и локальным серверам.
urlURL бакета с путём к существующей таблице Hudi в S3.
aws_access_key_id, aws_secret_access_keyДолговременные учётные данные пользователя аккаунта AWS. Их можно использовать для аутентификации запросов. Эти параметры необязательны. Если учётные данные не указаны, будут использованы значения из конфигурации ClickHouse. Дополнительные сведения см. в разделе Using S3 for Data Storage.
formatФормат файла.
structureСтруктура таблицы. Формат: 'column1_name column1_type, column2_name column2_type, ...'.
compressionПараметр необязателен. Поддерживаемые значения: none, gzip/gz, brotli/br, xz/LZMA, zstd/zst. По умолчанию сжатие определяется автоматически по расширению файла.
extra_credentialsПараметр необязателен. Используется для передачи role_arn для доступа на основе ролей в ClickHouse Cloud. Инструкции по настройке см. в разделе Secure S3.

​
Возвращаемое значение

Таблица с указанной структурой для чтения данных из указанной таблицы Hudi в S3 на заданном кластере.

​
Виртуальные столбцы

  • _path — Путь к файлу. Тип: LowCardinality(String).
  • _file — Имя файла. Тип: LowCardinality(String).
  • _size — Размер файла в байтах. Тип: Nullable(UInt64). Если размер файла неизвестен, значение равно NULL.
  • _time — Время последнего изменения файла. Тип: Nullable(DateTime). Если время неизвестно, значение равно NULL.
  • _etag — ETag файла. Тип: LowCardinality(String). Если ETag неизвестен, значение равно NULL.
Последнее изменение 10 июня 2026 г.