18 декабря 2023 г.
Общие изменения
- ClickHouse Cloud теперь доступен в регионе GCP us-east1 (Южная Каролина)
- Добавлена возможность настраивать AWS Private Link и GCP Private Service Connect через OpenAPI
Изменения в консоли
- Добавлен автоматический вход в SQL-консоль, если у вас есть роль Developer
- Упрощен процесс настройки перехода в режим простоя во время онбординга
Изменения в интеграциях
- Коннектор DBT: добавлена поддержка DBT до v1.7
- Metabase: добавлена поддержка Metabase v0.48
- коннектор Power BI: добавлена возможность запуска в PowerBI Cloud
- Добавлена возможность настраивать разрешения для внутреннего пользователя ClickPipes
- Kafka Connect
- Улучшены логика дедупликации и ингестия типов Nullable.
- Добавлена поддержка текстовых форматов (CSV, TSV)
- Apache Beam: добавлена поддержка типов Boolean и LowCardinality
- Клиент Nodejs: добавлена поддержка формата Parquet
Уведомления по безопасности
- Исправлены 3 уязвимости — подробности см. в журнале изменений по безопасности:
- CVE 2023-47118 (CVSS 7.0) — уязвимость переполнения буфера кучи, затрагивающая нативный интерфейс, который по умолчанию использует порт 9000/tcp
- CVE-2023-48704 (CVSS 7.0) — уязвимость переполнения буфера кучи, затрагивающая нативный интерфейс, который по умолчанию использует порт 9000/tcp
- CVE 2023-48298 (CVSS 5.9) — уязвимость выхода за нижнюю границу диапазона целого числа в кодеке сжатия FPC
22 ноября 2023 г.
Обновление версии ClickHouse
- Существенно повышена производительность чтения файлов Parquet. Подробности см. в блоге о релизе 23.8.
- Добавлена поддержка вывода типов для JSON. Подробности см. в блоге о релизе 23.9.
- Представлены мощные функции для аналитиков, такие как
ArrayFold. Подробности см. в блоге о релизе 23.10. - Несовместимое с предыдущими версиями изменение, заметное для пользователей: параметр
input_format_json_try_infer_numbers_from_stringsтеперь по умолчанию отключён, чтобы не выполнять вывод чисел из строк в формате JSON. Иначе возможны ошибки разбора, если выборочные данные содержат строки, похожие на числа. - Десятки новых возможностей, улучшений производительности и исправлений ошибок. Подробности см. в журнале изменений ядра базы данных.
Изменение в консоли
- Улучшен процесс входа и аутентификации.
- Улучшены подсказки по запросам на основе ИИ для более эффективной работы с большими схемами.
Изменения интеграций
- Приёмник Kafka Connect: добавлена поддержка прокси, сопоставления
topic-tablenameи настройки свойств доставки exactly-once для Keeper. - Клиент Node.js: добавлена поддержка формата Parquet.
- Metabase: добавлена поддержка функции
datetimeDiff. - Клиент Python: добавлена поддержка специальных символов в именах столбцов. Исправлена привязка параметра часового пояса.
2 ноября 2023 г.
Общие обновления
- Сервисы уровня Development теперь доступны в AWS в регионах
ap-south-1(Мумбаи) иap-southeast-1(Сингапур) - Добавлена поддержка ротации ключей шифрования, управляемых клиентом (CMEK)
Изменения консоли
- Добавлена возможность настраивать детализированные параметры налогообложения при добавлении кредитной карты
Изменения в интеграциях
- MySQL
- Улучшена поддержка Tableau Online и QuickSight через MySQL
- коннектор Kafka
- Добавлен новый StringConverter для поддержки текстовых форматов (CSV, TSV)
- Добавлена поддержка типов данных Bytes и Decimal
- Изменено поведение Retryable Exceptions: теперь повторная попытка выполняется всегда (даже при errors.tolerance=all)
- клиент Node.js
- Исправлена проблема, из-за которой потоковая передача больших датасетов приводила к некорректным результатам
- клиент Python
- Исправлены тайм-ауты при больших вставках
- Исправлена проблема с Date32 в NumPy/Pandas - клиент Go
- Исправлены ошибки при вставке пустого map в JSON-столбец, очистке буфера сжатия, экранировании запроса, а также panic при zero/nil для IPv4 и IPv6
- Добавлен watchdog для отменённых вставок
- DBT
- Улучшена поддержка distributed таблиц и добавлены тесты
19 октября 2023 г.
Изменение в консоли
- Повышено удобство работы с SQL-консолью (например, сохраняется ширина столбцов между выполнениями запросов)
- Повышена производительность SQL-консоли
Изменения в интеграциях
- Java-клиент:
- Сменена используемая по умолчанию сетевая библиотека, чтобы повысить производительность и повторно использовать открытые соединения
- Добавлена поддержка прокси
- Добавлена поддержка защищённых соединений с использованием Trust Store
- клиент Node.js: исправлено поведение keep-alive при выполнении запросов вставки
- Metabase: исправлена сериализация столбцов IPv4/IPv6
28 сентября 2023 г.
Изменения консоли
- Добавлен сценарий самообслуживания для безопасного доступа к Amazon S3 через роли IAM (см. доступ к данным Amazon S3 через роли IAM)
- Добавлены подсказки по запросам на базе ИИ в рамках закрытой предварительной версии (чтобы опробовать их, обратитесь в службу поддержки ClickHouse Cloud.)
Изменения в интеграциях
- Объявлено о переходе ClickPipes — готового сервиса для ингестии данных — в стадию General Availability для Kafka, Confluent Cloud и Amazon MSK (см. блог о релизе)
- Kafka Connect ClickHouse Sink перешел в стадию General Availability
- Расширена поддержка пользовательских настроек ClickHouse через свойство
clickhouse.settings - Улучшено поведение дедупликации с учетом динамических полей
- Добавлена поддержка
tableRefreshIntervalдля повторного получения изменений таблицы из ClickHouse
- Расширена поддержка пользовательских настроек ClickHouse через свойство
- Исправлены проблема с SSL-подключением и сопоставление типов данных между PowerBI и ClickHouse
7 сентября 2023
Изменения в консоли
- Добавлены оставшиеся кредиты и повторные попытки оплаты для поддержки списаний из Индии
Изменение в интеграции
- коннектор Kafka: добавлена поддержка настройки параметров ClickHouse, добавлена опция конфигурации error.tolerance
- PowerBI Desktop: выпущена бета-версия официального коннектора
- Grafana: добавлена поддержка геотипа Point, исправлены панели на панели мониторинга Data Analyst, исправлен макрос timeInterval
- клиент Python: совместим с Pandas 2.1.0, прекращена поддержка Python 3.7, добавлена поддержка Nullable для типа JSON
- клиент Node.js: добавлена поддержка настройки default_format
- клиент Go: исправлена обработка типа bool, сняты ограничения на строки
24 авг. 2023 г.
Общие обновления
- Добавлена поддержка протокола MySQL, что, помимо прочего, обеспечивает совместимость со многими BI-инструментами. Чтобы включить эту возможность для вашей организации, обратитесь в службу поддержки.
- Представлен новый официальный коннектор Power BI
Изменения консоли
- Добавлена поддержка представления «Выполняющиеся запросы» в SQL-консоли
Обновление до версии ClickHouse 23.7
- Добавлена поддержка табличной функции Azure Table, геотипы данных признаны готовыми к использованию в продакшне, а также повышена производительность JOIN — подробности см. в блоге о релизе 23.5
- Поддержка интеграции с MongoDB расширена до версии 6.0 — подробности см. в блоге о релизе 23.6
- Производительность записи в формат Parquet увеличена в 6 раз, добавлена поддержка языка запросов PRQL и улучшена совместимость с SQL — подробности см. в презентации к релизу 23.7
- Десятки новых возможностей, улучшений производительности и исправлений ошибок — см. подробные журналы изменений для версий 23.5, 23.6 и 23.7
Изменение в интеграции
- коннектор Kafka: добавлена поддержка типов Avro Date и Time
- JavaScript-клиент: выпущена стабильная версия для веб-среды
- Grafana: улучшена логика фильтрации, обработка имени базы данных и добавлена поддержка TimeInteval с субсекундной точностью
- Клиент Go: исправлено несколько проблем с батчами и асинхронной загрузкой данных
- Metabase: добавлена поддержка v0.47, добавлена имперсонация подключения, исправлены сопоставления типов данных
27 июля 2023 г.
Изменения в интеграциях
- Представлена закрытая предварительная версия ClickPipes для Kafka — облачного движка интеграции, который делает приём огромных объёмов данных из Kafka и Confluent Cloud таким же простым, как нажатие нескольких кнопок. Запишитесь в лист ожидания здесь.
- JavaScript-клиент: добавлена поддержка веб-окружений (браузер, Cloudflare workers). Код переработан, чтобы сообщество могло создавать коннекторы для пользовательских окружений.
- Kafka Connector: добавлена поддержка встроенной схемы с типами Kafka Timestamp и Time
- клиент Python: исправлены проблемы со сжатием при вставке и при чтении LowCardinality
Изменения в консоли
- Добавлен новый интерфейс загрузки данных с расширенными параметрами создания таблиц
- Добавлена возможность загружать файл по URL через Cloud Console
- Улучшен процесс работы с приглашениями: появились дополнительные возможности присоединиться к другой организации и просматривать все ожидающие приглашения
14 июля 2023 г.
Общие обновления
- Новый регион AWS в Австралии: Сидней (ap-southeast-2)
- Сервисы выделенного уровня для ресурсоёмких рабочих нагрузок, чувствительных к задержкам (чтобы настроить это, обратитесь в поддержку)
- Использование собственного ключа (BYOK) для шифрования данных на диске (чтобы настроить это, обратитесь в поддержку)
Изменения в консоли
- Улучшена панель мониторинга метрик обсервабилити для асинхронных вставок
- Улучшена работа чат-бота при интеграции со службой поддержки
Изменения в интеграциях
- NodeJS client: исправлена ошибка, из-за которой соединение завершалось из-за тайм-аута сокета
- клиент Python: в запросы вставки добавлен QuerySummary, добавлена поддержка специальных символов в имени базы данных
- Metabase: обновлена версия JDBC-драйвера, добавлена поддержка DateTime64, улучшена производительность.
Основные изменения в базе данных
- Кэш запросов можно включить в ClickHouse Cloud. Когда он включён, результаты успешных запросов по умолчанию кэшируются на одну минуту, а последующие запросы используют кэшированный результат.
20 июня 2023 г.
Общие обновления
- ClickHouse Cloud on GCP теперь доступен в стадии GA; поддерживаются интеграция с GCP Marketplace, Private Service Connect и автоматическое создание резервных копий (подробности см. в блоге и пресс-релизе)
- Теперь доступен Terraform-провайдер для Cloud API
Изменение в консоли
- Добавлена новая единая страница настроек сервисов
- Скорректирована точность учета хранилища и вычислительных ресурсов
Изменение в интеграции
- клиент Python: повышена производительность вставки, переработаны внутренние зависимости для поддержки многопроцессной обработки
- коннектор Kafka: теперь его можно загрузить и установить в Confluent Cloud, добавлены повторные попытки при временных проблемах с подключением, некорректное состояние коннектора теперь сбрасывается автоматически
Обновление до версии ClickHouse 23.4
- Добавлена поддержка JOIN для параллельных реплик (для настройки обратитесь в службу поддержки)
- Повышена производительность легковесных удалений
- Улучшено кэширование при обработке крупных вставок
Изменения в администрировании
- Расширены возможности создания локальных словарей для пользователей, отличных от «default»
30 мая 2023 г.
Общие изменения
- Поддержка API для ClickHouse Cloud. Новый Cloud API позволяет без лишних усилий интегрировать управление сервисами в существующий конвейер CI/CD и управлять сервисами программно
- Доступ к S3 с использованием ролей IAM. Теперь вы можете использовать роли IAM для безопасного доступа к своим приватным бакетам Amazon Simple Storage Service (S3) (чтобы настроить это, обратитесь в службу поддержки)
Изменения в масштабировании
- Горизонтальное масштабирование. Рабочие нагрузки, которым требуется больше параллелизма, теперь можно настраивать с числом реплик до 10 (чтобы включить эту возможность, пожалуйста, обратитесь в службу поддержки)
- Автомасштабирование на основе CPU. Для рабочих нагрузок, ограниченных CPU, теперь доступны дополнительные триггеры для политик автомасштабирования
Изменения в консоли
- Перенос сервиса Dev в сервис Production (чтобы включить эту возможность, обратитесь в службу поддержки)
- Добавлены настройки масштабирования в процессе создания инстанса
- Исправлено формирование строки подключения, если пароль по умолчанию отсутствует в памяти
Изменения в интеграции
- клиент Go: исправлена проблема, приводившая к неравномерному распределению подключений в собственном протоколе, добавлена поддержка пользовательских настроек в собственном протоколе
- клиент Node.js: прекращена поддержка Node.js v14, добавлена поддержка v20
- коннектор Kafka: добавлена поддержка типа LowCardinality
- Metabase: исправлена группировка по временному диапазону, улучшена поддержка целых чисел во встроенных вопросах Metabase
Производительность и надежность
- Повышены эффективность и производительность рабочих нагрузок с интенсивной записью
- Внедрена стратегия инкрементного резервного копирования для повышения скорости и эффективности создания резервных копий
11 мая 2023 г.
ОбновлениеClickHouse Cloud on GCP теперь имеет статус GA, см. запись от 20 июня выше.
ClickHouse Cloud on GCP теперь доступен в публичной бете
ClickHouse Cloud on GCP теперь имеет статус GA, см. запись от 20 июня выше.
- Доступно полностью управляемое предложение ClickHouse с разделением хранилища и вычислительных ресурсов, работающее на базе Google Compute и Google Cloud Storage
- Доступно в регионах Айова (us-central1), Нидерланды (europe-west4) и Сингапур (asia-southeast1)
- Поддерживает сервисы Development и Production во всех трёх изначальных регионах
- Обеспечивает высокий уровень безопасности по умолчанию: сквозное шифрование при передаче данных, шифрование данных в состоянии покоя, списки разрешённых IP-адресов
Изменения в интеграциях
- клиент Go: добавлена поддержка переменных окружения для прокси
- Grafana: добавлена возможность указывать пользовательские настройки ClickHouse и переменные окружения для прокси при настройке источника данных Grafana
- коннектор Kafka: улучшена обработка пустых записей
Изменения в консоли
- В списке пользователей добавлен индикатор использования многофакторной аутентификации (MFA)
Производительность и надежность
- Добавлен более гибкий контроль разрешения на завершение запросов для администраторов
4 мая 2023 г.
Изменения консоли
- В SQL-консоль добавлен тип диаграммы «тепловая карта»
- Улучшена страница использования в биллинге: теперь на ней отображаются израсходованные кредиты по каждой расчетной размерности
Изменения в интеграции
- Коннектор Kafka: добавлен механизм повторных попыток для временных ошибок соединения
- Клиент Python: добавлен параметр
max_connection_age, чтобы HTTP-соединения не переиспользовались бесконечно долго. Это может помочь в некоторых сценариях балансировки нагрузки - Клиент Node.js: добавлена поддержка Node.js v20
- Java-клиент: улучшена поддержка аутентификации с использованием клиентских сертификатов, а также добавлена поддержка вложенных типов Tuple/Map/Nested
Производительность и надежность
- Сокращено время запуска сервиса при большом количестве частей
- Оптимизирована логика отмены длительно выполняющихся запросов в SQL-консоли
Исправления ошибок
- Исправлена ошибка, из-за которой не удавалось импортировать демонстрационный набор данных «Базовые станции сотовой связи»
20 апреля 2023 г.
Изменения в консоли
- Добавлена возможность общаться со службой поддержки в реальном времени
Изменения в интеграциях
- коннектор Kafka: добавлена поддержка типов Nullable
- клиент Go: добавлена поддержка внешних таблиц, а также привязок параметров логического типа и типа указателя
Изменения конфигурации
- Добавлена возможность удалять большие таблицы при переопределении настроек
max_table_size_to_dropиmax_partition_size_to_drop
Производительность и надежность
- Повышена скорость холодных чтений благодаря предварительной выборке из S3 с помощью настройки
allow_prefetched_read_pool_for_remote_filesystem
Обновление ClickHouse до версии 23.3
- Легковесные удаления готовы для использования в продакшне — подробности см. в блоге о релизе 23.3
- Добавлена поддержка многоэтапного PREWHERE — подробности см. в блоге о релизе 23.2
- Десятки новых возможностей, улучшений производительности и исправлений ошибок — подробности см. в подробных changelog для 23.3 и 23.2
6 апреля 2023 г.
Изменения в API
- Добавлена возможность программно отправлять запросы к конечным точкам ClickHouse Cloud через Cloud Endpoints API
Изменение в консоли
- В расширенные настройки масштабирования добавлена настройка «minimum idle timeout»
- В модальном окне загрузки данных для определения схемы добавлено best-effort распознавание datetime
Изменения в интеграциях
- Metabase: Добавлена поддержка нескольких схем
- Клиент Go: Исправлена проверка активности бездействующих TLS‑соединений
- Клиент Python
- Добавлена поддержка внешних данных в методах запросов
- Добавлена поддержка часовых поясов в результатах запросов
- Добавлена поддержка переменной окружения
no_proxy/NO_PROXY - Исправлена привязка параметров на стороне сервера для значения NULL в типах Nullable
Исправления ошибок
- Исправлено поведение, из-за которого при выполнении
INSERT INTO ... SELECT ...из SQL-консоли ошибочно применялось то же ограничение на количество строк, что и для запросовSELECT
23 марта 2023 г.
Безопасность и надежность
- Основные конечные точки базы данных теперь требуют соблюдения правил сложности паролей
- Сокращено время восстановления крупных резервных копий
Изменение в консоли
- Оптимизирован процесс онбординга: добавлены новые настройки по умолчанию и более компактные представления
- Сокращены задержки при регистрации и входе
Изменения в интеграциях
- Grafana:
- Добавлена поддержка отображения данных trace, хранящихся в ClickHouse, в Trace View
- Улучшены фильтры временного диапазона и добавлена поддержка специальных символов в именах таблиц
- Superset: Добавлена нативная поддержка ClickHouse
- Приёмник Kafka Connect: Добавлены автоматическое преобразование дат и обработка столбцов Null
- Metabase: Реализована совместимость с v0.46
- клиент Python: Исправлена вставка во временные таблицы и добавлена поддержка Pandas Null
- клиент Go: Нормализованы типы Date с учётом часового пояса
- Java-клиент
- В SQL-парсер добавлена поддержка ключевых слов compression, infile и outfile
- Добавлена перегрузка для учётных данных
- Исправлена работа батчей с
ON CLUSTER
- клиент Node.js
- Добавлена поддержка форматов JSONStrings, JSONCompact, JSONCompactStrings, JSONColumnsWithMetadata
- Теперь
query_idможно передавать всем основным методам клиента
Исправления ошибок
- Исправлена ошибка, из-за которой первичное выделение ресурсов и запуск новых сервисов занимали слишком много времени
- Исправлена ошибка, из-за которой из-за неправильной настройки кэша снижалась производительность запросов
9 марта 2023 г.
Изменение в консоли
- Добавлены расширенные панели мониторинга обсервабилити (предварительная версия)
- В панели мониторинга обсервабилити добавлена диаграмма использования памяти
- Улучшены интервалы и обработка переводов строк в табличном представлении SQL Console
Надёжность и производительность
- Оптимизировано расписание резервного копирования: резервные копии создаются только при изменении данных
- Сокращено время выполнения крупных резервных копий
Изменения конфигурации
- Добавлена возможность увеличить лимит на удаление таблиц и партиций, переопределив настройки
max_table_size_to_dropиmax_partition_size_to_dropна уровне запроса или соединения - В лог запросов добавлен исходный IP-адрес, чтобы можно было применять квоты и управление доступом на основе исходного IP-адреса
Интеграции
- Клиент Python: Улучшена поддержка Pandas и исправлены проблемы, связанные с часовыми поясами
- Metabase: Совместимость с Metabase 0.46.x и поддержка SimpleAggregateFunction
- Kafka-Connect: Неявное преобразование дат и улучшенная обработка столбцов с NULL
- Java-клиент: Преобразование Nested в Java Map
23 февраля 2023 г.
Обновление до ClickHouse 23.1
- ARRAY JOIN с типом Map
- Шестнадцатеричные и двоичные литералы по стандарту SQL
- Новые функции, включая
age(),quantileInterpolatedWeighted(),quantilesInterpolatedWeighted() - Возможность использовать структуру таблицы назначения для вставки в
generateRandomбез аргументов - Улучшена логика создания и переименования баз данных, что позволяет повторно использовать прежние имена
- Подробнее см. слайды вебинара о релизе 23.1 и журнал изменений релиза 23.1
Изменения в интеграциях
- Kafka-Connect: Добавлена поддержка Amazon MSK
- Metabase: Первый стабильный релиз 1.0.0
- Коннектор стал доступен в Metabase Cloud
- Добавлена возможность просматривать все доступные базы данных
- Исправлена синхронизация базы данных с типом AggregationFunction
- DBT-clickhouse: Добавлена поддержка последней версии DBT v1.4.1
- Python client: Улучшена поддержка прокси и SSH-туннелирования; внесён ряд исправлений и оптимизаций производительности для DataFrame Pandas
- Nodejs client: Добавлена возможность привязывать
query_idк результату запроса; его можно использовать для получения метрик запроса изsystem.query_log - Golang client: Оптимизировано сетевое соединение с ClickHouse Cloud
Изменение в консоли
- В журнал активности теперь добавляются изменения расширенных настроек масштабирования и перехода в режим простоя
- В письма для сброса пароля добавлена информация о user agent и IP-адресе
- Улучшен процесс регистрации через Google OAuth
Надёжность и производительность
- Ускорен выход крупных сервисов из состояния бездействия
- Снижена задержка чтения для сервисов с большим количеством таблиц и партиций
Исправления ошибок
- Исправлено поведение, из-за которого при сбросе пароля сервиса не соблюдалась политика паролей
- Проверка адреса электронной почты в приглашениях в организацию стала регистронезависимой
2 февраля 2023 г.
Изменения в интеграциях
- плагин Metabase: стал официальным решением, поддерживаемым ClickHouse
- плагин dbt: добавлена поддержка нескольких потоков
- плагин Grafana: улучшена обработка ошибок подключения
- клиент Python: поддержка стриминга для операции вставки
- клиент Go: исправления ошибок: закрытие отменённых подключений, улучшена обработка ошибок подключения
- клиент JS: обратно несовместимые изменения в exec/insert; query_id добавлен в возвращаемые типы
- крупный релиз клиента Java / JDBC-драйвера
- Обратно несовместимые изменения: удалены устаревшие методы, классы и пакеты
- Добавлена поддержка драйвера R2DBC и вставки из файлов
Изменения в консоли
- Добавлена поддержка представлений и materialized views в SQL-консоли
Производительность и надёжность
- Ускорен сброс пароля для остановленных и простаивающих инстансов
- Улучшено поведение при уменьшении масштаба за счёт более точного отслеживания активности
- Исправлена ошибка, из-за которой CSV-экспорт из SQL-консоли выполнялся не полностью
- Исправлена ошибка, приводившая к периодическим сбоям при загрузке демонстрационных данных
12 января 2023 г.
Общие изменения
- Добавлена поддержка словарей для дополнительных источников, включая внешние ClickHouse, Cassandra, MongoDB, MySQL, PostgreSQL и Redis
Обновление ClickHouse до версии 22.12
- Расширена поддержка JOIN: добавлен Grace Hash JOIN
- Добавлена поддержка Binary JSON (BSON) для чтения файлов
- Добавлена поддержка стандартного синтаксиса SQL GROUP BY ALL
- Новые математические функции для десятичных операций с фиксированной точностью
- Полный список изменений см. в блоге о релизе 22.12 и подробном списке изменений 22.12
Изменения в консоли
- Улучшено автодополнение в SQL-консоли
- Регион по умолчанию теперь выбирается с учетом континента
- Улучшена страница Billing Usage: теперь на ней отображаются как единицы биллинга, так и единицы на сайте
Изменения в интеграциях
- Релиз DBT v1.3.2
- Добавлена экспериментальная поддержка инкрементальной стратегии delete+insert
- Новый макрос s3source
- клиент Python v0.4.8
- Поддержка вставки в File
- Привязка параметров запроса на стороне сервера
- клиент Go v2.5.0
- Снижено использование памяти при сжатии
- Привязка параметров запроса на стороне сервера
Надежность и производительность
- Улучшена производительность чтения для запросов, которые получают большое количество небольших файлов из объектного хранилища
- Для новых сервисов параметр compatibility устанавливается в значение версии, с которой сервис был изначально запущен