Обратно несовместимое изменение
- Разрешено записывать
SETTINGSпередFORMATв цепочке запросов сUNION, когда подзапросы заключены в скобки. Это закрывает #39712. Изменено поведение в случае, когда в запросе оператор SETTINGS указан дважды подряд. Для соответствующего подзапроса приоритет теперь будет у ближайшего оператора SETTINGS. В предыдущих версиях внешний оператор SETTINGS мог иметь приоритет над внутренним. #60197#68614 (Alexey Milovidov). - Пере реализован тип Dynamic. Теперь, когда достигается предел динамических типов данных, новые типы не приводятся к String, а сохраняются в специальной структуре данных в бинарном формате с типом данных, закодированным в бинарном виде. Теперь любой тип, когда-либо вставленный в столбец типа Dynamic, можно прочитать из него как подстолбец. #68132 (Pavel Kruglov).
- Выражения вида
a[b].cподдерживаются для именованных Tuple, а также поддерживается доступ по имени из произвольных выражений, напримерexpr().name. Это полезно при обработке JSON. Это закрывает #54965. В предыдущих версиях выражение видаexpr().nameразбиралось какtupleElement(expr(), name), и анализатор запросов искал столбецname, а не соответствующий элемент кортежа; в новой версии это изменено наtupleElement(expr(), 'name'). В большинстве случаев предыдущая версия не работала, но можно представить очень необычный сценарий, при котором это изменение могло бы привести к несовместимости: если вы хранили имена элементов кортежа в столбце или псевдониме, который назывался иначе, чем имя элемента кортежа:SELECT 'b' AS a, CAST([tuple(123)] AS 'Array(Tuple(b UInt8))') AS t, t[1].a. Крайне маловероятно, что вы использовали такие запросы, но мы всё же должны отметить это изменение как потенциально обратно несовместимое. #68435 (Alexey Milovidov). - Когда включена настройка
print_pretty_type_names, она будет выводить тип данныхTupleв удобочитаемом виде в командахSHOW CREATE TABLE, функцииformatQuery, а также в интерактивном режиме вclickhouse-clientиclickhouse-local. В предыдущих версиях эта настройка применялась только к запросамDESCRIBEиtoTypeName. Это закрывает #65753. #68492 (Alexey Milovidov). - Изменение порядка условий фильтра в выражении
[PRE]WHEREтеперь разрешено по умолчанию. Его можно отключить, установивallow_reorder_prewhere_conditionsвfalse. #70657 (Nikita Taranov). - Исправлена оптимизация
optimize_functions_to_subcolumns(ранее могла приводить к ошибкеInvalid column type for ColumnUnique::insertRangeFrom. Expected String, got LowCardinality(String)), за счёт сохранения типаLowCardinalityвmapKeys/mapValues. #70716 (Azat Khuzhin).
Новая возможность
- Refreshable materialized views готовы к использованию в продакшне. #70550 (Michael Kolupaev). Refreshable materialized views теперь поддерживаются в базах данных Replicated. #60669 (Michael Kolupaev).
- У функции
toStartOfInterval()появилась новая перегрузка, которая эмулирует функцию TimescaleDBtime_bucket(), а также функцию PostgreSQLdate_bin(). (#55619). Она позволяет выравнивать значения даты или временной метки по кратным заданному интервалу относительно произвольной точки отсчёта (вместо 0000-01-01 00:00:00.000 в качестве фиксированной точки отсчёта). Например,SELECT toStartOfInterval(toDateTime('2023-01-01 14:45:00'), INTERVAL 1 MINUTE, toDateTime('2023-01-01 14:35:30'));возвращает2023-01-01 14:44:30— значение, кратное 1-минутным интервалам, начиная от точки отсчёта2023-01-01 14:35:30. #56738 (Yarik Briukhovetskyi). - Интеграция с MongoDB переработана: выполнена миграция с устаревшего Poco::MongoDB на новый драйвер mongocxx, удалена поддержка устаревшего протокола, добавлена поддержка подключения по URI, всех типов MongoDB, операторов WHERE и ORDER BY на стороне MongoDB, а также введено ограничение для выражений, не поддерживаемых MongoDB. #63279 (Kirill Nikiforov).
- Новая опция
--progress-tableв clickhouse-client выводит таблицу с метриками, которые меняются во время выполнения запроса; с опцией--progress-tableтакже связана новая опция--enable-progress-table-toggle, которая позволяет переключать отображение таблицы прогресса нажатием управляющей клавиши (Space). #63689 (Maria Khristenko). - Это позволяет предоставлять доступ к префиксам с подстановочными знаками.
GRANT SELECT ON db.table_pefix_* TO user. #65311 (pufit). - Представлен формат JSONCompactWithProgress, в котором ClickHouse выводит каждую строку как отдельный объект JSON, разделённый символом новой строки, включая метаданные, данные, прогресс, итоги и статистику. #66205 (Alexey Korepanov).
- Добавлен system.query_metric_log, содержащий историю значений памяти и метрик из таблицы system.events для отдельных запросов; данные периодически сбрасываются на диск. #66532 (Pablo Marcos).
- Добавлена настройка
input_format_json_empty_as_default, которая во включенном состоянии трактует пустые поля во входных JSON-данных как значения по умолчанию. Закрывает #59339. #66782 (Alexis Arnaud). - Добавлены функции
overlayиoverlayUTF8, которые заменяют часть строки другой строкой. Пример:SELECT overlay('Hello New York', 'Jersey', 11)возвращаетHello New Jersey. #66933 (李扬). - Добавлена новая команда: легковесное удаление в партиции
DELETE FROM [db.]table [ON CLUSTER cluster] [IN PARTITION partition_expr] WHERE expr;``` VM-114-29-tos :) select * from ads_app_poster_ip_source_channel_di_replicated_local;. #67805 (sunny). - Реализовано сравнение значений типа данных
Interval: теперь они приводятся к наименьшему супертипу. #68057 (Yarik Briukhovetskyi). - Добавлена настройка create_if_not_exists, которая по умолчанию использует поведение IF NOT EXISTS для операторов CREATE. #68164 (Peter Nguyen).
- Добавлена возможность чтения таблиц Iceberg в Azure и локально. #68210 (Daniil Ivanik).
- Добавлены агрегатные функции distinctDynamicTypes/distinctJSONPaths/distinctJSONPathsAndTypes для более удобной интроспекции данных в столбцах типа JSON. #68463 (Pavel Kruglov).
- Записи кэша запросов теперь можно удалять по тегу. Например, запись кэша запросов, созданную с помощью
SELECT 1 SETTINGS use_query_cache = true, query_cache_tag = 'abc', теперь можно удалить командойSYSTEM DROP QUERY CACHE TAG 'abc'(или, конечно, просто:SYSTEM DROP QUERY CACHE, что очистит весь кэш запросов). #68477 (Michał Tabaszewski). - Простой запрос SELECT можно записать с неявным SELECT, чтобы включить выражения в стиле калькулятора, например
ch "1 + 2". Это поведение управляется новой настройкойimplicit_select. #68502 (Alexey Milovidov). - Добавлена поддержка режима —copy в clickhouse local как сокращённого способа преобразования форматов #68503. #68583 (Denis Hananein).
- Добавлена функция
ripeMD160, которая вычисляет криптографический хеш RIPEMD-160 от строки. Пример:SELECT hex(ripeMD160('The quick brown fox jumps over the lazy dog'))возвращает37F332F68DB77BD9D7EDD4969571AD671CF9DD3B. #68639 (Dergousov Maxim). - Добавлен виртуальный столбец _headers в движке таблицы URL. Закрывает #65026. #68867 (flynn).
- Добавлена таблица
system.projectionsдля отслеживания доступных проекций. #68901 (Jordi Villar). - Добавлена поддержка функции
arrayUnion. #68989 (Peter Nguyen). - Добавлена новая функция
arrayZipUnalignedдля совместимости со Spark(arrays_zip), которая, в отличие от исходнойarrayZip, допускает массивы разной длины. ``` sql SELECT arrayZipUnaligned([1], [1, 2, 3]). #69030 (李扬). - Добавлена поддержка агрегатной функции
quantileExactWeightedInterpolated— интерполированной версииquantileExactWeighted. У некоторых может возникнуть вопрос, зачем нужна новаяquantileExactWeightedInterpolated, если у нас уже естьquantileExactInterpolatedWeighted. Дело в том, что новая функция точнее старой. Кстати, она нужна для совместимости со Spark в Apache Gluten. #69619 (李扬). - Добавлена функция arrayElementOrNull. Она возвращает null, если индекс массива выходит за допустимые пределы или ключ в map не найден. #69646 (李扬).
- Добавлена поддержка типа Dynamic в большинстве функций за счёт их выполнения над внутренними типами в Dynamic. #69691 (Pavel Kruglov).
- Добавлен аргумент
scale(по умолчанию:true) для функцииarrayAUC, позволяющий пропустить этап нормализации (issue #69609). #69717 (gabrielmcg44). - Функция
RIPEMD160, вычисляющая криптографический хеш RIPEMD-160 для строки, была повторно добавлена. Пример:SELECT HEX(RIPEMD160('The quick brown fox jumps over the lazy dog'))возвращает37F332F68DB77BD9D7EDD4969571AD671CF9DD3B. #70087 (Dergousov Maxim). - Добавлена возможность кэшировать читаемые файлы для движков таблиц Объектного хранилища и озер данных, используя хеш от ETag и пути к файлу в качестве ключа кэша. #70135 (Kseniia Sumarokova).
- Добавлена поддержка чтения таблиц Iceberg в HDFS. #70268 (flynn).
- Добавлена возможность читать/записывать тип JSON как двоичную строку в формате RowBinary с настройками
input_format_binary_read_json_as_string/output_format_binary_write_json_as_string. #70288 (Pavel Kruglov). - Добавлена возможность сериализовать/десериализовать JSON-столбец как один столбец типа String в формате Native. Для вывода используйте настройку
output_format_native_write_json_as_string. Для ввода используйте версию сериализации1перед данными столбца. #70312 (Pavel Kruglov). - Поддерживается стандартный CTE,
with insert; ранее поддерживался толькоinsert ... with .... #70593 (Shichao Jin).