Случай 1: INSERT в одну партицию одной таблицы семейства MergeTree*
- Атомарность: INSERT либо выполняется целиком, либо целиком отклоняется: если клиенту отправлено подтверждение, значит, были вставлены все строки; если клиенту отправлена ошибка, значит, не была вставлена ни одна строка.
- Согласованность: если ограничения таблицы не нарушены, то все строки из INSERT вставляются и INSERT завершается успешно; если ограничения нарушены, то не вставляется ни одна строка.
- Изоляция: параллельные клиенты видят согласованный снимок таблицы — состояние таблицы либо до попытки INSERT, либо после успешного INSERT; никакое частичное состояние не наблюдается. Клиенты внутри другой транзакции имеют изоляцию снимков, тогда как клиенты вне транзакции имеют уровень изоляции read uncommitted.
- Надёжность: успешный INSERT записывается в файловую систему до отправки ответа клиенту, на одной реплике или нескольких репликах (управляется настройкой
insert_quorum), и ClickHouse может потребовать от ОС синхронизировать данные файловой системы с носителем данных (управляется настройкойfsync_after_insert). - INSERT в несколько таблиц одним оператором возможен, если задействованы materialized view (INSERT со стороны клиента выполняется в таблицу, с которой связаны materialized view).
Случай 2: INSERT в несколько партиций одной таблицы семейства MergeTree*
- Если у таблицы много партиций и INSERT охватывает много партиций, то вставка в каждую партицию выполняется как отдельная транзакция
Случай 3: INSERT в одну distributed таблицу семейства MergeTree*
- INSERT в таблицу Distributed в целом не является транзакционным, тогда как вставка в каждый сегмент транзакционна
Случай 4: Использование таблицы Buffer
- вставка в таблицы Buffer не обладает ни атомарностью, ни изолированностью, ни согласованностью, ни долговечностью
Случай 5: Использование async_insert
- атомарность обеспечивается, даже если
async_insertвключен и дляwait_for_async_insertустановлено значение 1 (по умолчанию), но если дляwait_for_async_insertустановлено значение 0, то атомарность не гарантируется.
Примечания
- строки, вставляемые клиентом в некотором формате данных, упаковываются в один блок, если:
- формат вставки является построчным (например, CSV, TSV, Values, JSONEachRow и т. д.), а данные содержат менее
max_insert_block_sizeстрок (~1 000 000 по умолчанию) или менееmin_chunk_bytes_for_parallel_parsingбайт (10 MB по умолчанию), если используется параллельный парсинг (он включен по умолчанию) - формат вставки является постолбцовым (например, Native, Parquet, ORC и т. д.), а данные содержат только один блок данных
- формат вставки является построчным (например, CSV, TSV, Values, JSONEachRow и т. д.), а данные содержат менее
- размер вставленного блока в общем случае может зависеть от многих настроек (например:
max_block_size,max_insert_block_size,min_insert_block_size_rows,min_insert_block_size_bytes,preferred_block_size_bytesи т. д.) - если клиент не получил ответ от сервера, он не знает, завершилась ли транзакция успешно, и может повторить транзакцию, используя свойства exactly-once для вставки
- ClickHouse внутренне использует MVCC с изоляцией снимков для параллельных транзакций
- все свойства ACID сохраняются даже в случае принудительного завершения работы или сбоя сервера
- для обеспечения надежности вставки в типичной конфигурации должен быть включен либо insert_quorum между разными AZ, либо fsync
- «consistency» в терминах ACID не охватывает семантику распределенных систем, см. https://jepsen.io/consistency; она регулируется другими настройками (
select_sequential_consistency) - это объяснение не охватывает новую возможность транзакций, которая позволяет использовать полнофункциональные транзакции для нескольких таблиц, materialized view, нескольких SELECT и т. д. (см. следующий раздел о Transactions, Commit, and Rollback)
Транзакции, фиксация и откат
Требования
- Разверните ClickHouse Keeper или ZooKeeper для отслеживания транзакций
- Только БД с движком Atomic (по умолчанию)
- Только движок таблицы MergeTree без репликации
- Включите экспериментальную поддержку транзакций, добавив этот параметр в
config.d/transactions.xml:
Примечания
- Это экспериментальная возможность, и в ней возможны изменения.
- Если во время транзакции возникает исключение, зафиксировать транзакцию нельзя. Это относится ко всем исключениям, включая исключения
UNKNOWN_FUNCTION, вызванные опечатками. - Вложенные транзакции не поддерживаются; вместо этого завершите текущую транзакцию и начните новую
Конфигурация
Включите экспериментальную поддержку транзакций
/etc/clickhouse-server/config.d/transactions.xml
Базовая конфигурация для одного узла сервера ClickHouse с включенным ClickHouse Keeper
Подробные сведения о развертывании сервера ClickHouse и корректном кворуме узлов ClickHouse Keeper см. в документации по развертыванию. Показанная здесь конфигурация предназначена для экспериментальных целей.
/etc/clickhouse-server/config.d/config.xml
Пример
Убедитесь, что экспериментальные транзакции включены
BEGIN TRANSACTION или START TRANSACTION, а затем ROLLBACK, чтобы убедиться, что экспериментальные транзакции включены и что ClickHouse Keeper тоже включен, поскольку он используется для отслеживания транзакций.
Создайте таблицу для тестирования
Начните транзакцию и вставьте строку
Вы можете выполнить запрос к таблице в рамках транзакции и увидеть, что строка уже вставлена, хотя транзакция еще не зафиксирована.
Откатите транзакцию и снова выполните запрос к таблице
Завершите транзакцию и повторно выполните запрос к таблице
Просмотр транзакций
system.transactions, но учтите, что эту
таблицу нельзя запрашивать из сеанса, в котором открыта транзакция. Откройте второй сеанс клиент ClickHouse, чтобы выполнить запрос к этой таблице.