Lessons - コスト最適化

実運用の事例と検証済みの手法に基づく、ClickHouse コミュニティミートアップ発のコスト最適化戦略。

このガイドは、コミュニティミートアップで得られた知見をまとめたコレクションの一部です。このページでは、ClickHouse の利用におけるコスト最適化について、それぞれの環境や構成で実際に効果のあったコミュニティの知見を紹介します。より実践的な解決策や知見については、問題別に参照できます。

ClickHouse Cloud が運用コストの管理にどのように役立つかについてはこちらをご覧ください。

​

圧縮戦略: 本番環境におけるLZ4とZSTD

Microsoft Clarityが数百TB規模のデータを扱う必要に迫られた際、圧縮方式の選択がコストに大きく影響することがわかりました。この規模では、ストレージを少しでも節約できるかが重要であり、パフォーマンスとストレージコストの典型的なトレードオフに直面していました。Microsoft Clarityは、全アカウント合計で毎月2 PBの非圧縮データを処理し、8ノードで1時間あたり約60,000件のクエリをさばき、数百万のWebサイトからの数十億件のページビューに対応しています。この規模になると、圧縮戦略は重要なコスト要因になります。

当初はClickHouseのデフォルトであるLZ4圧縮を使用していましたが、ZSTDを使うことで大幅なコスト削減が可能であることがわかりました。LZ4のほうが高速である一方、ZSTDはわずかに性能が低下する代わりに、より高い圧縮率を実現します。両方のアプローチを検証した結果、ストレージ削減を優先するという戦略的な判断を下しました。その結果は顕著で、大規模テーブルでストレージを50%削減しつつ、インジェストとクエリへの性能影響は許容可能な範囲に収まりました。

主な結果:

• ZSTD圧縮により大規模テーブルでストレージを50%削減
• 毎月2 PBのデータ処理能力
• インジェストとクエリへの性能影響は許容可能
• 数百TB規模で大幅なコスト削減

​

カラムベースの保持戦略

コスト最適化における最も強力な手法の 1 つは、実際に利用されているカラムを分析することです。Microsoft Clarity は、ClickHouse に組み込まれた高度なテレメトリー機能を活用して、洗練されたカラムベースの保持戦略を実装しています。ClickHouse は、カラムごとのストレージ使用量に関する詳細なメトリクスに加え、どのカラムにアクセスされているか、その頻度、クエリの所要時間、全体的な利用統計など、包括的なクエリパターンを提供します。

このデータドリブンなアプローチにより、保持ポリシーやカラムのライフサイクル管理について戦略的な意思決定が可能になります。このテレメトリーデータを分析することで、Microsoft はストレージのホットスポット、つまり大きな容量を消費しているにもかかわらずクエリがほとんど実行されないカラムを特定できます。こうした利用頻度の低いカラムに対しては、保持期間を 30 か月からわずか 1 か月へ短縮するような積極的な保持ポリシーを適用したり、まったくクエリされていない場合はカラム自体を削除したりできます。この選択的な保持戦略により、ユーザー体験に影響を与えることなくストレージコストを削減できます。

戦略:

• ClickHouse のテレメトリーを使用してカラムの利用パターンを分析する
• ストレージ使用量が多く、クエリ頻度の低いカラムを特定する
• 選択的な保持ポリシーを実装する
• データに基づく意思決定のためにクエリパターンを監視する

関連ドキュメント

• データ管理 - カラムレベルの有効期限 (TTL)

​

パーティションベースのデータ管理

Microsoft Clarity は、パーティション化戦略がパフォーマンスと運用の容易さの両方に影響することを見出しました。彼らのアプローチは、日付でパーティション化し、時間で並べ替えることです。この戦略には、クリーンアップ効率の向上にとどまらない複数の利点があります。データのクリーンアップを容易にし、顧客向けサービスの請求計算を簡素化し、さらに行単位の削除に関する GDPR のコンプライアンス要件にも対応できます。

主な利点:

• データのクリーンアップが容易 (行単位で削除する代わりにパーティションを削除)
• 請求計算の簡素化
• パーティション除外によるクエリパフォーマンスの向上
• 運用管理の簡素化

関連ドキュメント

• データ管理 - パーティション

​

文字列から整数への変換戦略

分析プラットフォームでは、数百万行にわたって繰り返し現れるカテゴリーデータが、しばしばストレージ上の課題になります。Microsoft のエンジニアリングチームは、検索分析データでこの問題に直面し、影響を受けるデータセットのストレージ使用量を 60% 削減する効果的な解決策を開発しました。

Microsoft の web analytics システムでは、検索結果に応じて、天気カード、スポーツ情報、ニュース記事、事実ベースの回答など、さまざまな種類の応答がトリガーされます。各クエリ結果には、weather_answer、sports_answer、factual_answer のような説明用の文字列タグが付与されていました。何十億もの検索クエリが処理される中、これらの文字列値は ClickHouse に繰り返し保存されるため、大量のストレージを消費するうえ、クエリ実行時にはコストの高い文字列比較も必要になっていました。

Microsoft は、別の MySQL データベースを使って、文字列と整数を対応付ける仕組みを実装しました。ClickHouse には実際の文字列を保存せず、整数 ID のみを保存します。UI からクエリを実行して weather_answer のデータを要求すると、クエリオプティマイザーはまず MySQL のマッピングテーブルを参照して対応する整数 ID を取得し、その後、その整数を使うようにクエリを書き換えてから ClickHouse に送信します。

このアーキテクチャにより、ユーザー体験はそのまま維持されます。ユーザーはダッシュボード上で weather_answer のような意味のあるラベルを引き続き確認できる一方で、バックエンドのストレージとクエリ処理は、はるかに効率の高い整数を使って動作します。マッピングシステムがすべての変換を透過的に処理するため、ユーザー インターフェイスやユーザーのワークフローを変更する必要はありません。

主な利点:

• 影響を受けるデータセットでストレージ使用量を 60% 削減
• 整数比較によるクエリ性能の向上
• JOIN や集計におけるメモリ使用量の削減
• 大規模な結果セットでのネットワーク転送コストの低減

これは Microsoft Clarity のデータシナリオに特化した例です。すべてのデータが ClickHouse にある場合、またはデータを ClickHouse に移動することに制約がない場合は、代わりに dictionaries の使用を検討してください。

​

関連動画

• Microsoft Clarity と ClickHouse - Microsoft Clarity チーム
• Contentsquare における ClickHouse 活用の歩み - Doron Hoffman & Guram Sigua (ContentSquare)

こうしたコミュニティによるコスト最適化の知見は、数百TBからPB規模のデータを処理する企業の戦略を示しており、ClickHouse の運用コストを削減する実践的なアプローチを紹介しています。