ビジョン

ClickHouse Agents における画像入力と視覚的理解

ビジョンでは、ユーザーがエージェントに解析させる画像をアップロードできます。エージェントはその画像をビジョン対応モデルに渡し、モデルが画像の内容を説明したり、要約したり、画像についての質問に答えたりします。

​

ビジョン機能を有効にする

ビジョンは、画像入力をサポートするモデルでのみ使用できます。選択したモデルが画像入力に対応していない場合、メッセージコンポーザーのアップロードコントロールは無効になります。 再度有効にするには、モデルパラメーター でビジョン対応モデルに切り替えてください。

​

ビジョン機能を使う

メッセージコンポーザーの左下にあるクリップアイコンをクリックし、Upload to Provider を選んでイメージを添付します。スクリーンショット、写真、チャート、図表などを追加できます。続いて、そのイメージを読み取る必要がある質問をします。たとえば、“このクエリプランの何が問題ですか？”、“このスクリーンショット内のテキストを書き起こしてください”、“このダッシュボードを先週のものと比較してください” といった質問です。

エージェントはイメージをメッセージコンテキストの一部として扱うため、同じターン内の追加の質問では、再アップロードしなくても見た内容を参照できます。

​

ビジョンを他のツールと組み合わせる

ビジョンは、画像ベースの分析ではコードインタープリターと特に相性がよく、たとえばエージェントがスクリーンショットから数値を読み取り、その後 Python を実行して合計を計算できます。また、画像にモデルが調べる必要のある対象への言及が含まれている場合は、ウェブ検索も効果的です。