system.iceberg_metadata_log

Tabela de sistema que contém informações sobre arquivos de metadados lidos de tabelas Iceberg. Cada entrada representa um arquivo de metadados raiz, metadados extraídos de um arquivo Avro ou uma entrada de um arquivo Avro.

Consultas no ClickHouse Cloud

Os dados nesta tabela de sistema são mantidos localmente em cada nó do ClickHouse Cloud. Portanto, para obter uma visão completa de todos os dados, é necessário usar a função clusterAllReplicas. Consulte aqui para mais detalhes.

​

Descrição

A tabela system.iceberg_metadata_log registra eventos de acesso e parsing de metadados de tabelas Iceberg lidas pelo ClickHouse. Ela fornece informações detalhadas sobre cada arquivo ou entrada de metadados processado, o que é útil para depuração, auditoria e para entender a evolução da estrutura de tabelas Iceberg.

Esta tabela registra cada arquivo e entrada de metadados lidos de tabelas Iceberg, incluindo arquivos de metadados raiz, listas de manifestos e entradas de manifesto. Ela ajuda os usuários a rastrear como o ClickHouse interpreta os metadados de tabelas Iceberg e a diagnosticar problemas relacionados à evolução do esquema, à localização de arquivos ou ao planejamento de consultas.

Esta tabela se destina principalmente à depuração.

​

Controlando a verbosidade do log

Você pode controlar quais eventos de metadados são registrados usando a configuração iceberg_metadata_log_level.

Para registrar todos os metadados usados na consulta atual:

SELECT * FROM my_iceberg_table SETTINGS iceberg_metadata_log_level = 'manifest_file_entry';

SYSTEM FLUSH LOGS iceberg_metadata_log;

SELECT content_type, file_path, row_in_file
FROM system.iceberg_metadata_log
WHERE query_id = '{previous_query_id}';

Para registrar apenas o arquivo de metadados raiz JSON usado na consulta atual:

SELECT * FROM my_iceberg_table SETTINGS iceberg_metadata_log_level = 'metadata';

SYSTEM FLUSH LOGS iceberg_metadata_log;

SELECT content_type, file_path, row_in_file
FROM system.iceberg_metadata_log
WHERE query_id = '{previous_query_id}';

Consulte mais informações na descrição da configuração iceberg_metadata_log_level.

​

Bom saber

• Use iceberg_metadata_log_level no nível da consulta apenas quando precisar investigar sua tabela Iceberg em detalhes. Caso contrário, você poderá preencher a tabela de log com metadados em excesso e sofrer degradação de desempenho.
• A tabela contém entradas duplicadas, pois se destina principalmente à depuração e não garante unicidade por entidade. Linhas separadas armazenam o conteúdo e o status de poda porque eles são coletados em momentos diferentes no programa. O conteúdo é coletado quando os metadados são lidos; o status de poda é coletado quando os metadados são verificados para poda. Nunca dependa da própria tabela para desduplicação.
• Se você usar um content_type mais detalhado que ManifestListMetadata, o cache de metadados do Iceberg será desativado para listas de manifestos.
• Da mesma forma, se você usar um content_type mais detalhado que ManifestFileMetadata, o cache de metadados do Iceberg será desativado para arquivos de manifesto.
• Se a consulta SELECT tiver sido cancelada ou falhar, a tabela de log ainda poderá conter entradas dos metadados processados antes da falha, mas não conterá informações sobre entidades de metadados que não foram processadas.

​

Colunas

• hostname (LowCardinality(String)) — Nome do host do servidor que executa a consulta.
• event_date (Date) — Data do registro.
• event_time (DateTime) — Hora do evento.
• query_id (String) — ID da consulta.
• content_type (Enum8(‘None’ = 0, ‘Metadata’ = 1, ‘ManifestListMetadata’ = 2, ‘ManifestListEntry’ = 3, ‘ManifestFileMetadata’ = 4, ‘ManifestFileEntry’ = 5)) — Tipo de conteúdo.
• table_path (String) — Caminho da tabela.
• file_path (String) — Caminho do arquivo.
• content (String) — Conteúdo em formato JSON (conteúdo de arquivo JSON, metadados Avro ou entrada Avro).
• row_in_file (Nullable(UInt64)) — Linha no arquivo.
• pruning_status (Nullable(Enum8(‘NotPruned’ = 0, ‘PartitionPruned’ = 1, ‘MinMaxIndexPruned’ = 2))) — Status da poda de partição ou da poda do índice min-max do arquivo.

​

Valores de content_type

• None: Nenhum conteúdo.
• Metadata: Arquivo de metadados raiz.
• ManifestListMetadata: Metadados da lista de manifestos.
• ManifestListEntry: Entrada em uma lista de manifestos.
• ManifestFileMetadata: Metadados do arquivo de manifesto.
• ManifestFileEntry: Entrada em um arquivo de manifesto.

​

Veja também

• Iceberg Table Engine
• Iceberg Table Function
• system.iceberg_history