Пакетные вставки

Если отправлять меньше вставок, но с большим объемом данных в каждой, это сократит число необходимых операций записи.

Описанный выше механизм создаёт постоянные накладные расходы независимо от размера вставки, поэтому размер батча — самый важный фактор оптимизации пропускной способности приёма. Батчинг вставок уменьшает долю накладных расходов в общем времени вставки и повышает эффективность обработки.

Мы рекомендуем вставлять данные батчами не менее 1 000 строк, а в идеале — от 10 000 до 100 000 строк. Чем меньше и крупнее вставки, тем меньше записывается частей, ниже нагрузка на слияние и общее потребление системных ресурсов.

Чтобы синхронная стратегия вставки была эффективной, батчинг на стороне клиента обязателен.

Если вы не можете выполнять батчинг данных на стороне клиента, ClickHouse поддерживает асинхронные вставки, которые переносят батчинг на сторону сервера (см. Asynchronous inserts).

Независимо от размера вставок, мы рекомендуем поддерживать частоту запросов на вставку на уровне примерно одного запроса в секунду. Это связано с тем, что созданные части в фоновом режиме сливаются в более крупные (чтобы оптимизировать данные для запросов на чтение), и если отправлять слишком много запросов на вставку в секунду, фоновое слияние может не успевать за появлением новых частей. Однако при использовании асинхронных вставок можно работать с более высокой частотой запросов на вставку в секунду (см. Asynchronous inserts).