에이전트형 분석

ClickHouse가 에이전트형 분석을 지원하는 방법을 알아보세요

AI 워크로드는 사용 사례와 관계없이 공통적으로 다음과 같은 요구 사항을 가집니다:

• 높은 쿼리 동시성
• 1초 미만의 응답 시간
• 대규모에서도 손실 없는 전체 충실도의 데이터

이 문서에서는 ClickHouse가 실시간 분석, 데이터 웨어하우징, 관측성 전반에서 이러한 요구 사항을 어떻게 충족하는지, 그리고 이러한 사용 사례가 에이전트형 애플리케이션을 위한 통합 데이터 플랫폼으로 어떻게 융합되고 있는지를 설명합니다.

​

에이전트형 워크로드를 위한 ClickHouse

실시간 분석

생성형 인사이트, 이상 탐지, 추천, 제품 데이터용 자연어 인터페이스와 같은 AI 기반 애플리케이션 기능은 모두 트랜잭션 쓰기와 분석 읽기 사이의 긴밀한 피드백 루프를 필요로 합니다. 이를 위한 표준 아키텍처는 Postgres + ClickHouse입니다.

• Postgres는 트랜잭션과 애플리케이션 상태를 처리하고, ClickHouse는 분석을 처리합니다.
• ClickHouse는 빠른 수집, 수십억 개의 행에 대한 1초 미만 쿼리, 그리고 고객 대상 애플리케이션에 필요한 수준의 동시성을 제공합니다.

애플리케이션이 에이전트형으로 발전할수록 이 조합은 더욱 중요해집니다. 에이전트는 실시간 제품 데이터를 지속적으로 쿼리해야 하므로 쿼리 빈도와 동시성이 모두 증가합니다. ClickHouse는 자동 데이터 복제와 통합된 개발자 경험을 제공하는 네이티브 Postgres + ClickHouse 통합으로 이를 해결하며, 별도의 CDC 파이프라인을 관리할 필요를 없애줍니다.

데이터 웨어하우징

자연어 분석 인터페이스(때로는 AI Analyst라고 함)는 실험 단계를 넘어 프로덕션 환경으로 옮겨가고 있습니다. 사용자는 자연어로 질문하고 몇 초 안에 답변이 나오기를 기대합니다.

인프라 관점에서 보면 자연어 쿼리 하나가 SQL 쿼리 하나만 생성하는 것은 아닙니다. 일반적으로 에이전트가 사용 가능한 데이터셋을 탐색하고 여러 추론 경로를 평가하면서 짧은 시간 안에 수십 개의 쿼리를 생성합니다. 그 결과 내부 분석가 워크로드도 동시성과 지연 시간 측면에서 외부 고객 대상 워크로드와 비슷해지기 시작합니다.

기존 데이터 웨어하우스는 빈도가 낮은 배치 중심 쿼리를 위해 설계되었습니다. 이러한 시스템은 높은 동시성에서의 1초 미만 응답 시간보다 많은 쿼리 전반의 전체 처리량을 최적화합니다. 이런 아키텍처에서 AI Analyst 워크로드를 실행하면 허용하기 어려운 지연 시간이 발생하거나, 제공되는 가치보다 비용이 더 빠르게 증가합니다.

ClickHouse는 높은 동시성의 대화형 쿼리를 위해 구축되었습니다. 페타바이트 규모의 데이터, 수천 명의 동시 사용자, 수십억 개의 행에 대한 1초 미만 응답 시간을 지원합니다.

관측성

기존 관측성 스택은 메트릭, 로그, 트레이스라는 3개의 분리된 축을 기반으로 구축되며, 스토리지 비용을 제어하기 위해 데이터는 미리 집계되고 샘플링됩니다. 이러한 절충은 사람이 주도하는 워크플로에는 허용 가능하지만 AI SRE에는 적합하지 않습니다. 자동화된 인시던트 분류, 근본 원인 분석, 이상 징후 상관 분석에는 세밀하고 카디널리티가 높으며 장기 보관되는 데이터가 필요합니다. 3일 전의 배포 이벤트와 오류 패턴을 상관 분석하는 AI 에이전트는 샘플링된 로그나 다운샘플링된 메트릭만으로는 제대로 동작할 수 없습니다.

AI SRE를 지원하는 아키텍처는 열 지향 스토리지에 저장된 폭넓은 구조화 이벤트를 기반으로 하는 단일 진실 공급원입니다. 원본 충실도가 유지된 이벤트는 한 번만 저장되며, 메트릭, 트레이스, SLO는 수집 시점에 미리 집계되는 대신 쿼리 시점에 여기서 파생됩니다. ClickHouse는 이 모델에 매우 적합합니다.

• 로그 및 이벤트 데이터에 대한 높은 압축률
• 카디널리티가 높은 wide events에 대한 1초 미만 쿼리
• 프로덕션 인프라 규모에서의 효율적인 수집
• GB당 수집 요금이 아니라 컴퓨트와 스토리지를 기준으로 하는 비용 모델

ClickStack은 이 모델을 기반으로 구축된 ClickHouse의 관측성 스택이며, 데이터 수집 계층으로 OpenTelemetry를 사용합니다. 오픈 소스와 관리형 서비스 형태로 제공됩니다.

​

데이터 웨어하우징과 관측성의 융합

데이터 웨어하우징과 관측성은 역사적으로 서로 다른 벤더, 구매 주체, 스택을 가진 별개의 영역이었습니다. 그러나 이러한 분리는 점점 기술적 요구사항이라기보다 관행에 가까워지고 있습니다. 이제 두 영역 모두 객체 스토리지에 데이터를 기록합니다. 두 영역 모두 높은 동시성에서 대화형의 낮은 지연 시간 쿼리를 필요로 합니다. 또한 데이터 수준에서도 동일한 이벤트가 중간의 취약한 동기화 계층을 사이에 두고 관측성 플랫폼에 한 번, 데이터 웨어하우스에 한 번, 이렇게 두 번 저장되는 경우가 많습니다. 이 모든 데이터를 개방형 포맷으로 한 번만 저장하고 AI Analyst와 AI SRE 도구 모두에서 쿼리할 수 있게 하면 이러한 중복을 없애고 두 워크플로 전반에서 맥락을 활용할 수 있게 됩니다.

​

플랫폼 계층: 에이전트 친화적 인터페이스와 LLM 관측성

완전한 에이전트형 분석 플랫폼을 구축하려면 데이터베이스와 함께 두 가지 추가 구성 요소가 필요합니다.

에이전트 친화적 인터페이스

AI 에이전트가 데이터에 접근하는 주된 인터페이스가 되면, 데이터 플랫폼은 에이전트가 활용할 수 있는 방식으로 기능을 제공해야 합니다. 즉, MCP 호환 API, 자연어 인터페이스, 그리고 개별 사용 사례마다 별도 맞춤 작업 없이 통합할 수 있는 에이전트 프레임워크가 필요합니다. Agentic Data Stack은 ClickHouse와 LibreChat을 결합해 데이터 위에 분석 에이전트를 손쉽게 배포할 수 있는 턴키 방식을 제공합니다.

LLM 관측성

에이전트 사용이 늘어남에 따라 실행 과정을 추적하고, 모델 성능을 모니터링하고, 비용을 추적하고, 여러 단계의 워크플로 전반에서 발생하는 실패를 디버깅하는 일은 핵심 엔지니어링 요구 사항이 됩니다. Langfuse는 ClickHouse Cloud에서 실행되며, 대규모 환경에서 실시간 LLM 관측성을 제공합니다.