Vision

Ввод изображений и визуальный анализ в ClickHouse Agents

Vision позволяет пользователям загружать изображения, чтобы агент мог их анализировать. Агент передает изображение модели с поддержкой Vision, которая описывает его, кратко излагает содержимое или отвечает на вопросы о том, что на нем изображено.

​

Включите возможности Vision

Vision работает только с моделями, поддерживающими ввод изображений. Если выбранная модель не поддерживает ввод изображений, элемент загрузки в поле ввода сообщения будет недоступен. Чтобы снова его включить, переключитесь на модель с поддержкой Vision в разделе параметры модели.

​

Используйте возможности Vision

Нажмите значок скрепки в левом нижнем углу поля ввода сообщения и выберите Upload to Provider, чтобы прикрепить изображение — снимок экрана, фотографию, график или диаграмму. Затем задайте любой вопрос, для ответа на который нужно прочитать изображение: «Что не так с этим планом выполнения запроса?», «Распознай текст на этом снимке экрана» или «Сравни эту панель мониторинга с панелью за прошлую неделю.»

Агент воспринимает изображение как часть контекста сообщения, поэтому в последующих вопросах в рамках того же сообщения можно ссылаться на то, что он увидел, не загружая изображение повторно.

​

Используйте Vision вместе с другими инструментами

Vision хорошо сочетается с code interpreter для анализа изображений — например, агент считывает числа со скриншота, а затем запускает Python, чтобы подсчитать итоговые значения, — а также с Веб-поиском, когда на изображении есть отсылка к чему-то, что модели нужно найти.