2023年12月18日
一般的な変更
- ClickHouse Cloud が GCP の us-east1 (サウスカロライナ) リージョンで利用可能になりました
- OpenAPI 経由で AWS プライベートリンクおよび GCP Private Service Connect を設定できるようになりました
コンソールの変更点
- Developerロールを持つユーザーが、SQL Consoleにシームレスにログインできるようになりました
- オンボーディング中にアイドル制御を設定するワークフローを簡素化しました
インテグレーションの変更点
- DBT コネクタ: DBT v1.7 までをサポート
- Metabase: Metabase v0.48 をサポート
- PowerBI Connector: PowerBI Cloud で実行可能に
- ClickPipes の内部ユーザーの権限を設定可能に
- Kafka Connect
- 重複排除ロジックと Nullable 型のインジェストを改善
- テキストベースのフォーマット (CSV、TSV) をサポート
- Apache Beam: Boolean 型および LowCardinality 型をサポート
- Nodejs client: Parquet フォーマットをサポート
セキュリティに関するお知らせ
- 3 件のセキュリティ脆弱性を修正しました。詳細は security changelog を参照してください。
- CVE 2023-47118 (CVSS 7.0) - デフォルトでポート 9000/tcp で動作するネイティブインターフェイスに影響するヒープバッファオーバーフロー脆弱性
- CVE-2023-48704 (CVSS 7.0) - デフォルトでポート 9000/tcp で動作するネイティブインターフェイスに影響するヒープバッファオーバーフロー脆弱性
- CVE 2023-48298 (CVSS 5.9) - FPC 圧縮コーデックにおける整数アンダーフロー脆弱性
2023年11月22日
ClickHouse バージョンのアップグレード
- Parquet ファイルの読み取りパフォーマンスが大幅に向上しました。詳細は 23.8 release blog を参照してください。
- JSON の型推論サポートが追加されました。詳細は 23.9 release blog を参照してください。
ArrayFoldなど、アナリスト向けの強力な関数が導入されました。詳細は 23.10 release blog を参照してください。- ユーザー向けの後方互換性のない変更: JSON フォーマットで文字列から数値を推論しないようにするため、設定
input_format_json_try_infer_numbers_from_stringsはデフォルトで無効になりました。これを有効にすると、サンプルデータに数値のように見える文字列が含まれている場合、パースエラーが発生する可能性があります。 - 数十件に及ぶ新機能、パフォーマンス改善、バグ修正が含まれています。詳細は コアデータベースの変更履歴 を参照してください。
コンソールの変更点
- ログインおよび認証フローを改善しました。
- 大規模なスキーマへの対応を強化するため、AI ベースのクエリ候補を改善しました。
インテグレーションの変更点
- Kafka Connect Sink: プロキシ対応、
topic-tablenameマッピング、Keeper の exactly-once 配信プロパティの設定機能を追加しました。 - Node.js クライアント: Parquet フォーマットのサポートを追加しました。
- Metabase:
datetimeDiff関数に対応しました。 - Python クライアント: カラム名での特殊文字をサポートしました。タイムゾーンパラメータのバインドを修正しました。
2023年11月2日
全般的な更新
- AWS の
ap-south-1(ムンバイ) およびap-southeast-1(シンガポール) で Development サービスが利用可能になりました - 顧客管理暗号鍵 (CMEK) のキーローテーションをサポートしました
コンソールの変更点
- クレジットカード追加時に、税金に関する詳細な設定を行えるようになりました
インテグレーションの変更点
- MySQL
- MySQL 経由での Tableau Online と QuickSight のサポートを改善
- Kafka Connector
- テキストベースのフォーマット (CSV、TSV) をサポートする新しい StringConverter を導入
- Bytes および Decimal データ型のサポートを追加
- Retryable Exceptions を調整し、errors.tolerance=all の場合でも常に再試行されるように変更
- Node.js client
- 大規模なデータセットのストリーミング時に、破損した結果が返される問題を修正
- Python クライアント
- 大量 insert 時のタイムアウトを修正
- NumPy/Pandas の Date32 に関する問題を修正
- Golang client
- JSON カラムへの空の map の挿入、圧縮 buffer のクリーンアップ、クエリのエスケープ、IPv4 および IPv6 で zero/nil の場合に panic が発生する問題を修正
- キャンセルされた insert にウォッチドッグを追加
- DBT
- テストを追加し、分散テーブルのサポートを改善
2023年10月19日
コンソールの変更点
- SQL Consoleの使いやすさを改善 (例: クエリ実行後もカラム幅を保持)
- SQL Consoleのパフォーマンスを改善
インテグレーションの変更点
- Java クライアント:
- パフォーマンス向上と既存の接続の再利用のため、デフォルトのネットワークライブラリを変更しました
- プロキシのサポートを追加しました
- Trust Store を使用したセキュアな接続のサポートを追加しました
- Node.js クライアント: insert クエリでの keep-alive の動作を修正しました
- Metabase: IPv4/IPv6 カラムのシリアライゼーションを修正しました
2023年9月28日
コンソールの変更点
- IAMロールを使用したAmazon S3へのアクセスを保護するためのセルフサービス ワークフローを追加しました
- AI支援によるクエリ候補をプライベートプレビューとして導入しました (お試しになりたい場合は、ClickHouse Cloud Supportにお問い合わせください。)
インテグレーションの変更点
- Kafka、Confluent Cloud、Amazon MSK 向けに、ターンキー型のデータインジェストサービスである ClickPipes の一般提供を発表 (リリースブログを参照)
- Kafka Connect ClickHouse Sink が一般提供に到達
clickhouse.settingsプロパティを使用した、カスタム ClickHouse settings のサポートを拡張- 動的フィールドを考慮するよう、重複排除の動作を改善
- ClickHouse からテーブルの変更を再取得するための
tableRefreshIntervalのサポートを追加
- PowerBI と ClickHouse のデータ型間の型マッピング、および SSL 接続の問題を修正
2023年9月7日
コンソールの変更点
- 未使用クレジットと支払いの再試行を追加し、インドからの請求に対応
インテグレーションの変更点
- Kafka Connector: ClickHouse 設定の構成をサポートし、error.tolerance 設定オプションを追加
- PowerBI Desktop: 公式コネクタのベータ版をリリース
- Grafana: Point Geo 型のサポートを追加し、Data Analyst ダッシュボードのパネルを修正し、timeInterval マクロを修正
- Python クライアント: Pandas 2.1.0 に対応し、Python 3.7 のサポートを終了し、Nullable JSON 型のサポートを追加
- Node.js クライアント: default_format 設定のサポートを追加
- Golang クライアント: bool 型の処理を修正し、文字列の制限を削除
2023年8月24日
全般的な更新
- MySQL wire protocol のサポートを追加しました。これにより、既存の多くの BI ツールとの互換性が実現するなど、さまざまな用途に対応できます。この機能を組織で有効にするには、サポートにお問い合わせください。
- 新しい公式 PowerBI コネクタを追加しました
コンソールの変更点
- SQL Console の「Running Queries」ビューに対応
ClickHouse 23.7 へのバージョンアップグレード
- Azure Table function のサポートを追加し、Geo データ型を本番利用可能とし、join のパフォーマンスを改善しました。詳細は 23.5 リリースの ブログ を参照してください
- MongoDB インテグレーションのサポートをバージョン 6.0 まで拡張しました。詳細は 23.6 リリースの ブログ を参照してください
- Parquet フォーマットへの書き込みパフォーマンスを 6 倍に向上させ、PRQL クエリ言語のサポートを追加し、SQL 互換性を改善しました。詳細は 23.7 リリースの プレゼンテーション を参照してください
- 数十件に及ぶ新機能、パフォーマンス改善、バグ修正が含まれます。23.5、23.6、23.7 の詳細は 変更履歴 を参照してください
インテグレーションの変更点
- Kafka Connector: Avro の Date 型および Time 型のサポートを追加
- JavaScript client: Web 環境向けの安定版をリリース
- Grafana: フィルタロジックとデータベース名の処理を改善し、秒未満の精度を持つ TimeInteval のサポートを追加
- Golang Client: バッチ処理と非同期データ読み込みに関する複数の問題を修正
- Metabase: v0.47 をサポートし、接続の権限借用を追加、データ型のマッピングを修正
2023年7月27日
インテグレーションの変更点
- Kafka 向け ClickPipes のプライベートプレビューを開始しました。これは、Kafka および Confluent Cloud からの大量のデータ取り込みを数クリックで行える、クラウドネイティブなインテグレーションエンジンです。ウェイトリストへの登録はこちらからお願いします。
- JavaScript クライアント: Web 環境 (ブラウザ、Cloudflare Workers) のサポートをリリースしました。コミュニティがカスタム環境向けのコネクタを作成できるよう、コードをリファクタリングしました。
- Kafka Connector: Timestamp および Time の Kafka 型に対応したインラインスキーマのサポートを追加しました
- Python クライアント: insert の圧縮および LowCardinality の読み取りに関する問題を修正しました
コンソールの変更点
- テーブル作成時の設定オプションを拡充した新しいデータ読み込み機能を追加しました
- Cloud Console を使用して、URL からファイルを読み込めるようになりました
- 招待フローを改善し、別の組織に参加するための追加オプションや、保留中の招待をすべて確認する機能を追加しました
2023年7月14日
全般的なアップデート
- 新しい AWS オーストラリアリージョン: シドニー (ap-southeast-2)
- 高負荷かつ低レイテンシが求められるワークロード向けの専用 tier サービス (設定するには support までお問い合わせください)
- ディスク上のデータを暗号化するための顧客管理の秘密鍵 (BYOK) (設定するには support までお問い合わせください)
コンソールの変更点
- 非同期挿入向けのオブザーバビリティ用メトリクスダッシュボードを改善
- サポート連携時のチャットボットの動作を改善
インテグレーションの変更点
- NodeJS client: ソケットのタイムアウトによる接続失敗の不具合を修正
- Python クライアント: insert クエリに QuerySummary を追加し、データベース名で特殊文字を使用できるように対応
- Metabase: JDBC ドライバーのバージョンを更新し、DateTime64 のサポートを追加、パフォーマンスを改善。
コアデータベースの変更
- ClickHouse Cloud では クエリキャッシュ を有効にできます。有効にすると、成功したクエリの結果はデフォルトで 1 分間キャッシュされ、以降のクエリではそのキャッシュ済みの結果が使用されます。
2023年6月20日
一般的なアップデート
- ClickHouse Cloud on GCP が GA となり、GCP Marketplace とのインテグレーション、Private Service Connect のサポート、自動バックアップが利用可能になりました (詳細は ブログ と プレスリリース をご覧ください)
- Cloud API 向けの Terraform プロバイダー が利用可能になりました
コンソールの変更点
- サービス用の新しい一元化された設定ページを追加
- ストレージとコンピュートのメータリング精度を調整
インテグレーションの変更点
- Python クライアント: insert のパフォーマンスを改善し、マルチプロセシングをサポートするため内部依存関係をリファクタリング
- Kafka Connector: Confluent Cloud へのアップロードとインストールが可能になり、一時的な接続問題に対する再試行を追加し、誤ったコネクタ状態を自動的にリセット
ClickHouse 23.4 へのバージョンアップ
- 並列レプリカで JOIN をサポート (設定するには サポート までご連絡ください)
- 論理削除のパフォーマンスを改善
- 大規模な挿入処理時のキャッシュを改善
管理関連の変更
- 「default」以外のユーザーでもローカル Dictionary を作成できるように拡張
2023年5月30日
全般的な変更
- ClickHouse Cloud の API をサポート。新しい Cloud API により、既存の CI/CD パイプラインにサービス管理をシームレスに統合し、サービスをプログラムから管理できるようになりました
- IAMロールを使用した S3 アクセス。IAMロールを活用して、プライベートな Amazon Simple Storage Service (S3) バケットに安全にアクセスできるようになりました (設定するにはサポートにお問い合わせください)
スケーリングの変更
- 水平スケーリング。より高い並列処理が必要なワークロードでは、最大 10 個のレプリカまで構成できるようになりました (設定するにはサポートにお問い合わせください)
- CPU ベースのオートスケーリング。CPU 負荷がボトルネックとなるワークロードで、オートスケーリング ポリシーの追加トリガーを利用できるようになりました
コンソールの変更点
- Dev service を Production service に移行 (有効化するにはサポートにお問い合わせください)
- インスタンス作成フローに、スケーリング構成を制御する機能を追加
- メモリ内にデフォルトのパスワードがない場合の接続文字列を修正
インテグレーションの変更点
- Golang client: ネイティブプロトコルで接続の偏りが発生する問題を修正し、ネイティブプロトコルでのカスタム設定のサポートを追加
- Nodejs client: nodejs v14 のサポートを終了し、v20 のサポートを追加
- Kafka Connector: LowCardinality 型のサポートを追加
- Metabase: 時間範囲でのグループ化を修正し、組み込みの Metabase の質問における整数のサポートを修正
パフォーマンスと信頼性
- 書き込み負荷の高いワークロードの効率とパフォーマンスを向上
- バックアップの高速化と効率向上のため、インクリメンタルバックアップ戦略を導入
2023年5月11日
更新ClickHouse Cloud on GCP は現在 GA です。上記の 6 月 20 日のエントリを参照してください。
ClickHouse Cloud on GCP がパブリックベータで利用可能になりました
ClickHouse Cloud on GCP は現在 GA です。詳しくは、上の 6 月 20 日 のエントリを参照してください。
- Google Compute と Google Cloud Storage 上で動作する、ストレージとコンピュートを分離したフルマネージドの ClickHouse の提供を開始
- アイオワ (us-central1) 、オランダ (europe-west4) 、シンガポール (asia-southeast1) の各リージョンで利用可能
- 3 つの初期リージョンすべてで、Development サービスと Production サービスの両方をサポート
- デフォルトで強力なセキュリティを提供: 転送中のエンドツーエンド暗号化、保存データの暗号化、IP 許可リスト
インテグレーションの変更点
- Golang client: プロキシ環境変数のサポートを追加
- Grafana: Grafana のデータソース設定で、ClickHouse のカスタム設定とプロキシ環境変数を指定できるように改善
- Kafka Connector: 空のレコードの処理を改善
コンソールの変更点
- ユーザー一覧に、多要素認証 (MFA) の利用を示すインジケーターを追加
パフォーマンスと信頼性
- 管理者向けに、クエリを終了する権限をよりきめ細かく制御できるようになりました
2023年5月4日
コンソールの変更点
- SQL Console にヒートマップのチャートタイプを追加
- 請求の使用状況ページを改善し、各課金ディメンション内で消費されたクレジットを表示するようにしました
インテグレーションの変更点
- Kafka Connector: 一時的な接続エラーに対する再試行メカニズムを追加
- Python クライアント: HTTP 接続が無期限に再利用されないようにする
max_connection_age設定を追加。これにより、特定のロードバランシングの問題に対処できます - Node.js クライアント: Node.js v20 のサポートを追加
- Java クライアント: クライアント証明書認証への対応を改善し、ネストされた Tuple/Map/Nested 型のサポートを追加
性能と信頼性
- 多数のパーツがある場合のサービス起動時間を改善
- SQL Console における長時間実行中のクエリのキャンセル処理を最適化
バグ修正
- ‘Cell Towers’ サンプルデータセットのインポートに失敗する不具合を修正
2023年4月20日
コンソールの変更点
- サポートとのリアルタイムチャット機能を追加
インテグレーションの変更点
- Kafka Connector: Nullable 型のサポートを追加
- Golang client: 外部テーブルのサポートを追加し、真偽値およびポインタ型のパラメータバインディングをサポート
設定変更
max_table_size_to_dropおよびmax_partition_size_to_dropの設定を上書きすることで、大きなテーブルを削除できるようになりました
パフォーマンスと信頼性
allow_prefetched_read_pool_for_remote_filesystem設定による S3 のプリフェッチにより、コールドリードを高速化
ClickHouse 23.3 へのバージョンアップ
- 論理削除が本番環境対応になりました。詳細は 23.3 リリースのブログをご覧ください
- マルチステージ PREWHERE のサポートが追加されました。詳細は 23.2 リリースのブログをご覧ください
- 多数の新機能、パフォーマンス改善、バグ修正が含まれています。詳細は 23.3 および 23.2 の変更履歴をご覧ください
2023年4月6日
API の変更
- Cloud Endpoints API を使用して、ClickHouse Cloud エンドポイントをプログラムからクエリできるようになりました
コンソールの変更点
- 高度なスケーリング設定に「最小アイドルタイムアウト」設定を追加
- データ読み込みモーダルのスキーマ推論で、ベストエフォートの日時検出に対応
インテグレーションの変更点
- Metabase: 複数のスキーマのサポートを追加
- Go クライアント: TLS 接続におけるアイドル接続の生存確認を修正
- Python クライアント
- クエリメソッドで外部データをサポート
- クエリ結果のタイムゾーン対応を追加
no_proxy/NO_PROXY環境変数のサポートを追加- Nullable 型に対する NULL 値のサーバー側パラメータバインドを修正
バグ修正
- SQL Console から
INSERT INTO ... SELECT ...を実行した際に、誤ってSELECTクエリと同じ行数制限が適用されていた問題を修正しました
2023年3月23日
セキュリティと信頼性
- コアデータベースのエンドポイントで、パスワードの複雑性要件が適用されるようになりました
- 大規模なバックアップの復元時間を短縮しました
コンソールの変更点
- オンボーディングのワークフローを効率化し、新しい既定値とよりコンパクトな表示を導入
- サインアップとサインインの遅延を短縮
インテグレーションの変更点
- Grafana:
- ClickHouse に保存されたトレースデータを Trace View に表示するサポートを追加
- 時間範囲フィルターを改善し、テーブル名での特殊文字のサポートを追加
- Superset: ClickHouse のネイティブサポートを追加
- Kafka Connect Sink: 日付の自動変換と Null カラムの処理を追加
- Metabase: v0.46 との互換性を実装
- Python クライアント: 一時テーブルへの insert を修正し、Pandas Null のサポートを追加
- Golang client: タイムゾーン付きの Date 型を正規化
- Java クライアント
- SQL パーサーに compression、infile、outfile キーワードのサポートを追加
- credentials のオーバーロードを追加
ON CLUSTERでの Batch サポートを修正
- Node.js client
- JSONStrings、JSONCompact、JSONCompactStrings、JSONColumnsWithMetadata フォーマットのサポートを追加
- すべての主要なクライアントメソッドで
query_idを指定できるようにしました
バグ修正
- 新しいサービスで初回の Provisioning と起動に時間がかかる不具合を修正しました
- cache の設定不備によりクエリパフォーマンスが低下する不具合を修正しました
2023年3月9日
コンソールの変更点
- 高度なオブザーバビリティ用ダッシュボード (プレビュー) を追加
- オブザーバビリティ用ダッシュボードにメモリ割り当てチャートを追加
- SQL Console のスプレッドシートビューでスペーシングと改行の処理を改善
信頼性とパフォーマンス
- データが変更された場合にのみバックアップを実行するよう、バックアップスケジュールを最適化
- 大規模なバックアップの完了までの時間を短縮
設定変更
- クエリレベルまたは接続レベルで設定
max_table_size_to_dropとmax_partition_size_to_dropをオーバーライドすることで、テーブルおよびパーティションの削除制限を引き上げられるようにしました - 送信元 IP に基づくクォータとアクセス制御の適用を可能にするため、クエリログに送信元 IP を追加しました
インテグレーション
- Python クライアント: Pandas のサポートを改善し、タイムゾーン関連の問題を修正
- Metabase: Metabase 0.46.x との互換性と SimpleAggregateFunction のサポート
- Kafka-Connect: 暗黙的な日付変換と NULL カラムの処理を改善
- Java クライアント: ネストされた値の Java の Map への変換
2023年2月23日
ClickHouse 23.1 バージョンへのアップグレード
- Map型での ARRAY JOIN
- SQL 標準の 16 進数およびバイナリリテラル
age(),quantileInterpolatedWeighted(),quantilesInterpolatedWeighted()などの新しい関数- 引数なしの
generateRandomで挿入先テーブルの構造を使用する機能 - 以前の名前を再利用できるようにするデータベース作成および名前変更ロジックの改善
- 詳細については、23.1 リリースの ウェビナーのスライド と 23.1 リリースの変更履歴 を参照してください
インテグレーションの変更点
- Kafka-Connect: Amazon MSK のサポートを追加
- Metabase: 初の安定版 1.0.0 をリリース
- コネクタが Metabase Cloud で利用可能に
- 利用可能なすべてのデータベースを参照できる機能を追加
- AggregationFunction 型のデータベースとの同期を修正
- DBT-clickhouse: 最新の DBT バージョン v1.4.1 のサポートを追加
- Python クライアント: プロキシおよび SSH トンネリングのサポートを改善し、Pandas DataFrames 向けに多数の修正とパフォーマンス最適化を追加
- Nodejs client: クエリ結果に
query_idを付与できるようになり、system.query_logからクエリメトリクスを取得可能に - Golang client: ClickHouse Cloud とのネットワーク接続を最適化
コンソールの変更点
- アクティビティログに、高度なスケーリング設定とアイドル状態設定の変更内容を追加しました
- パスワード再設定メールにユーザーエージェントとIP情報を追加しました
- Google OAuth のサインアップフローを改善しました
信頼性とパフォーマンス
- 大規模なサービスで、アイドル状態からの復帰時間を短縮
- 多数のテーブルとパーティションを持つサービスで、読み取りレイテンシを改善
バグ修正
- service のパスワードをリセットした際にパスワードポリシーに準拠しない問題を修正
- 組織への招待メールの検証を大文字と小文字を区別しないように変更
2023年2月2日
インテグレーションの変更点
- Metabase plugin: ClickHouse が保守する公式ソリューションになりました
- dbt plugin: マルチスレッドのサポートを追加
- Grafana plugin: 接続エラーの処理を改善
- Python client: insert 操作のストリーミング対応を追加
- Go client: バグ修正: キャンセルされた接続を閉じるようにし、接続エラーの処理を改善
- JS client: exec/insert の破壊的変更、戻り値の型で query_id を利用可能に
- Java client / JDBC driver のメジャーリリース
- 破壊的変更: 非推奨のメソッド、クラス、パッケージを削除
- R2DBC driver と file insert のサポートを追加
コンソールの変更点
- SQL Console でビューおよび materialized view がサポートされるようになりました
パフォーマンスと信頼性
- 停止中またはアイドル状態のインスタンスのパスワードリセットを高速化
- アクティビティの追跡精度向上により、スケールダウン時の動作を改善
- SQL Console の CSV エクスポートが途中で切り詰められる不具合を修正
- サンプルデータのアップロードが断続的に失敗する不具合を修正
2023年1月12日
一般的な変更点
- 外部 ClickHouse、Cassandra、MongoDB、MySQL、PostgreSQL、Redis など、追加のソースで辞書が利用できるようになりました
ClickHouse 22.12 バージョンアップデート
- Grace Hash Join を含むように JOIN のサポートを拡張
- ファイルの読み取りで Binary JSON (BSON) をサポート
- 標準 SQL 構文 GROUP BY ALL のサポートを追加
- 固定精度の Decimal 演算に対応した新しい数学関数
- 変更点の全一覧については、22.12 リリースブログおよび22.12 の詳細な変更履歴を参照してください
コンソールの変更点
- SQL Console のオートコンプリート機能を改善
- デフォルトのリージョンで大陸ごとの近接性が考慮されるように改善
- Billing Usage ページを改善し、請求単位とウェブサイト単位の両方を表示するように改善
インテグレーションの変更点
- DBT リリース v1.3.2
- delete+insert インクリメンタル戦略の実験的なサポートを追加
- 新しい s3source マクロ
- Python クライアント v0.4.8
- File insert をサポート
- サーバー側クエリのパラメータバインド
- Go クライアント v2.5.0
- 圧縮時のメモリ使用量を削減
- サーバー側クエリのパラメータバインド
信頼性とパフォーマンス
- オブジェクトストア上の多数の小さなファイルを取得するクエリの読み取りパフォーマンスを改善しました
- 新たに起動されたサービスについて、compatibility 設定を、そのサービスの初回起動時のバージョンに設定しました