Este guia apresenta uma visão geral do que esperar, do ponto de vista funcional e operacional, no ClickHouse Cloud. Embora o ClickHouse Cloud seja baseado na distribuição open source do ClickHouse, pode haver algumas diferenças de arquitetura e implementação. Como material de apoio, talvez seja interessante ler este post no blog sobre como criamos o ClickHouse Cloud.
Arquitetura do ClickHouse Cloud
- Computação e armazenamento são separados e, portanto, podem ser escalados automaticamente de forma independente, para que você não precise superprovisionar nem armazenamento nem computação em configurações estáticas de instância.
- O armazenamento em camadas sobre armazenamento de objetos e o cache multinível oferecem escalabilidade praticamente ilimitada e uma boa relação custo-benefício, para que você não precise dimensionar sua capacidade de armazenamento antecipadamente nem se preocupar com altos custos de armazenamento.
- A alta disponibilidade vem ativada por padrão, e a replicação é gerenciada de forma transparente, para que você possa se concentrar em criar seus aplicativos ou analisar seus dados.
- O escalonamento automático para cargas de trabalho contínuas e variáveis vem ativado por padrão, para que você não precise dimensionar seu serviço antecipadamente, aumentar a capacidade dos seus servidores quando sua carga de trabalho crescer nem reduzi-la manualmente quando houver menos atividade
- A hibernação transparente para cargas de trabalho intermitentes vem ativada por padrão. Pausamos automaticamente seus recursos de computação após um período de inatividade e os reativamos de forma transparente quando uma nova consulta chega, para que você não precise pagar por recursos ociosos.
- Os controles avançados de escalonamento permitem definir um máximo de escalonamento automático para ampliar o controle de custos ou um mínimo de escalonamento automático para reservar recursos de computação para aplicativos com requisitos de desempenho específicos.
O ClickHouse Cloud oferece acesso a um conjunto selecionado de funcionalidades da distribuição open source do ClickHouse. As tabelas abaixo descrevem algumas funcionalidades que estão desativadas no ClickHouse Cloud no momento.
Motores de banco de dados e de tabela
ReplicatedMergeTree e MergeTree são idênticos quando usados no ClickHouse Cloud.
Motores de tabela suportados
- ReplicatedMergeTree (padrão, quando nenhum for especificado)
- ReplicatedSummingMergeTree
- ReplicatedAggregatingMergeTree
- ReplicatedReplacingMergeTree
- ReplicatedCollapsingMergeTree
- ReplicatedVersionedCollapsingMergeTree
- MergeTree (convertido em ReplicatedMergeTree)
- SummingMergeTree (convertido em ReplicatedSummingMergeTree)
- AggregatingMergeTree (convertido em ReplicatedAggregatingMergeTree)
- ReplacingMergeTree (convertido em ReplicatedReplacingMergeTree)
- CollapsingMergeTree (convertido em ReplicatedCollapsingMergeTree)
- VersionedCollapsingMergeTree (convertido em ReplicatedVersionedCollapsingMergeTree)
- URL
- View
- MaterializedView
- GenerateRandom
- Null
- Buffer
- Memory
- Deltalake
- Hudi
- MySQL
- MongoDB
- NATS
- RabbitMQ
- PostgreSQL
- S3
- Kafka
O ClickHouse Cloud oferece suporte a HTTPS, interfaces nativas e ao MySQL wire protocol. Em breve, haverá suporte a mais interfaces, como Postgres.
Dictionaries são uma forma popular de acelerar buscas no ClickHouse. Atualmente, o ClickHouse Cloud oferece suporte a Dictionaries do PostgreSQL, MySQL, servidores ClickHouse remotos e locais, Redis, MongoDB e fontes HTTP.
Oferecemos suporte a consultas federadas do ClickHouse para comunicação entre clusters na nuvem e com clusters ClickHouse autogerenciados externos. No momento, o ClickHouse Cloud oferece suporte a consultas federadas com os seguintes motores de integração:
- Deltalake
- Hudi
- MySQL
- MongoDB
- NATS
- RabbitMQ
- PostgreSQL
- S3
As consultas federadas com alguns motores externos de banco de dados e de tabela, como SQLite, ODBC, JDBC, Redis, HDFS e Hive, ainda não são compatíveis.
Funções Definidas pelo Usuário
Comportamento das configurações
ImportanteAs UDFs no ClickHouse Cloud não herdam as configurações no nível do usuário. Elas são executadas com as configurações padrão do sistema.
- As configurações no nível da sessão (definidas pela instrução
SET) não são propagadas para o contexto de execução da UDF
- As configurações do perfil de usuário não são herdadas pelas UDFs
- As configurações no nível da consulta não se aplicam durante a execução da UDF
Os recursos experimentais são desativados nos serviços do ClickHouse Cloud para garantir a estabilidade das implantações.
Coleções nomeadas não são compatíveis no momento com o ClickHouse Cloud.
Padrões operacionais e considerações
max_parts_in_total: 10,000
max_parts_in_total para tabelas MergeTree foi reduzido de 100.000 para 10.000. O motivo dessa alteração é que observamos que um grande número de partes de dados tende a causar tempos de inicialização mais lentos dos serviços na nuvem. Um grande número de partes geralmente indica a escolha de uma chave de partição excessivamente granular, algo que normalmente é feito por engano e deve ser evitado. A mudança no valor padrão permitirá detectar esses casos mais cedo.
max_concurrent_queries: 1,000
100 para 1000 para permitir mais concorrência.
Isso resultará em número de réplicas * 1.000 consultas simultâneas para os serviços dos tiers oferecidos.
1000 consultas simultâneas para o serviço do tier Basic, limitado a uma única réplica, e 1000+ para Scale e Enterprise,
dependendo do número de réplicas configuradas.
max_table_size_to_drop: 1,000,000,000,000
Administração avançada de segurança
default, que tem permissões amplas nesse banco de dados. Esse usuário inicial pode criar usuários adicionais e atribuir a eles permissões para esse banco de dados. Além disso, no momento não há suporte para habilitar, no banco de dados, os seguintes recursos de segurança por meio de autenticação Kerberos, LDAP ou por certificado SSL X.509.
Estamos avaliando a demanda por várias outras funcionalidades no ClickHouse Cloud. Se você tiver algum feedback e quiser solicitar uma funcionalidade específica, envie-o aqui. 
