system.iceberg_metadata_log

Iceberg 테이블에서 읽은 메타데이터 파일 정보를 담고 있는 시스템 테이블입니다. 각 항목은 루트 메타데이터 파일, Avro 파일에서 추출된 메타데이터 또는 Avro 파일의 개별 엔트리를 나타냅니다.

ClickHouse Cloud에서 쿼리하기

이 시스템 테이블의 데이터는 ClickHouse Cloud의 각 노드에 로컬로 저장됩니다. 따라서 전체 데이터를 모두 확인하려면 clusterAllReplicas 함수를 사용해야 합니다. 자세한 내용은 여기를 참조하십시오.

​

설명

system.iceberg_metadata_log 테이블은 ClickHouse가 읽는 Iceberg 테이블의 메타데이터 접근 및 파싱 이벤트를 기록합니다. 처리된 각 메타데이터 파일이나 엔트리에 대한 자세한 정보를 제공하므로 디버깅, 감사, 그리고 Iceberg 테이블 구조의 변화를 이해하는 데 유용합니다.

이 테이블은 루트 메타데이터 파일, manifest 목록, manifest 엔트리를 포함해 Iceberg 테이블에서 읽은 모든 메타데이터 파일과 엔트리를 기록합니다. 이를 통해 ClickHouse가 Iceberg 테이블 메타데이터를 어떻게 해석하는지 추적하고, 스키마 진화, 파일 해석, 또는 쿼리 계획과 관련된 문제를 진단하는 데 도움이 됩니다.

이 테이블은 주로 디버깅을 위한 용도로 사용됩니다.

​

로그 상세 수준 제어

iceberg_metadata_log_level 설정을 사용하면 어떤 메타데이터 이벤트를 기록할지 제어할 수 있습니다.

현재 쿼리에서 사용된 모든 메타데이터를 기록하려면:

SELECT * FROM my_iceberg_table SETTINGS iceberg_metadata_log_level = 'manifest_file_entry';

SYSTEM FLUSH LOGS iceberg_metadata_log;

SELECT content_type, file_path, row_in_file
FROM system.iceberg_metadata_log
WHERE query_id = '{previous_query_id}';

현재 쿼리에서 사용된 루트 메타데이터 JSON 파일만 로그에 기록하려면:

SELECT * FROM my_iceberg_table SETTINGS iceberg_metadata_log_level = 'metadata';

SYSTEM FLUSH LOGS iceberg_metadata_log;

SELECT content_type, file_path, row_in_file
FROM system.iceberg_metadata_log
WHERE query_id = '{previous_query_id}';

자세한 내용은 iceberg_metadata_log_level 설정 설명을 참조하십시오.

​

알아두면 좋은 점

• iceberg_metadata_log_level은 Iceberg 테이블을 자세히 조사해야 할 때에만 쿼리 수준에서 사용하세요. 그렇지 않으면 로그 테이블이 과도한 메타데이터로 채워져 성능이 저하될 수 있습니다.
• 이 테이블은 주로 디버깅용이며 엔터티별 고유성을 보장하지 않으므로 중복 엔트리가 포함됩니다. 콘텐츠와 프루닝 상태는 프로그램에서 서로 다른 시점에 수집되므로 별도의 행에 저장됩니다. 콘텐츠는 메타데이터를 읽을 때 수집되고, 프루닝 상태는 메타데이터의 프루닝 여부를 확인할 때 수집됩니다. 중복 제거를 위해 이 테이블 자체에 절대 의존하지 마십시오.
• content_type을 ManifestListMetadata보다 더 자세한 수준으로 사용하면 manifest 목록에 대한 Iceberg 메타데이터 캐시가 비활성화됩니다.
• 마찬가지로 content_type을 ManifestFileMetadata보다 더 자세한 수준으로 사용하면 manifest 파일에 대한 Iceberg 메타데이터 캐시가 비활성화됩니다.
• SELECT 쿼리가 취소되었거나 실패한 경우에도 로그 테이블에는 실패 전에 처리된 메타데이터 엔트리가 남아 있을 수 있지만, 처리되지 않은 메타데이터 엔터티에 대한 정보는 포함되지 않습니다.

​

컬럼

• hostname (LowCardinality(String)) — 쿼리를 실행하는 서버의 호스트명입니다.
• event_date (Date) — 엔트리의 날짜입니다.
• event_time (DateTime) — 이벤트 시간입니다.
• query_id (String) — 쿼리 ID입니다.
• content_type (Enum8(‘None’ = 0, ‘Metadata’ = 1, ‘ManifestListMetadata’ = 2, ‘ManifestListEntry’ = 3, ‘ManifestFileMetadata’ = 4, ‘ManifestFileEntry’ = 5)) — 콘텐츠 유형입니다.
• table_path (String) — 테이블 경로입니다.
• file_path (String) — 파일 경로입니다.
• content (String) — JSON 포맷의 콘텐츠입니다(JSON 파일 콘텐츠, avro 메타데이터 또는 avro 엔트리).
• row_in_file (Nullable(UInt64)) — 파일 내 행입니다.
• pruning_status (Nullable(Enum8(‘NotPruned’ = 0, ‘PartitionPruned’ = 1, ‘MinMaxIndexPruned’ = 2))) — 파일의 파티션 프루닝 또는 MinMax 인덱스 프루닝 상태입니다.

​

content_type 값

• None: 콘텐츠 없음.
• Metadata: 루트 메타데이터 파일.
• ManifestListMetadata: manifest 목록 메타데이터.
• ManifestListEntry: manifest 목록의 엔트리.
• ManifestFileMetadata: manifest 파일 메타데이터.
• ManifestFileEntry: manifest 파일의 엔트리.

​

관련 항목

• Iceberg Table Engine
• Iceberg Table Function
• system.iceberg_history