4계층 지식 베이스 아키텍처로 AI 에이전트 정확도 향상

r/openclaw의 한 개발자가 도구, 워크플로우, 정책에 대한 구체적인 컨텍스트를 제공하여 일반적인 LLM 에이전트를 도메인 전문가로 전환하도록 설계된 구조화된 지식 베이스 아키텍처를 상세히 설명했습니다.

일반적인 RAG 접근법의 문제점

출처는 일반적인 RAG 구현의 여러 문제점을 지적합니다: 쿼리 분류 없음(모든 질문이 동일한 검색 파이프라인을 거침), 계층화 없음(거버넌스 문서와 블로그 글이 동일하게 취급됨), 예산 제한 없음(에이전트 컨텍스트 창에 관련 없는 청크가 채워짐), 자가 복구 기능 없음(오래되거나 손상된 문서가 영원히 그대로 유지됨).

4단계 KB 파이프라인

이 시스템은 네 가지 구별된 계층을 사용합니다:

거버넌스 계층 — 항상 로드됨. 에이전트 정체성, 정책, 규칙을 절대적 컨텍스트로 포함합니다.
에이전트 계층 — 에이전트별 문서화. 예를 들어, Lucy라는 음성 에이전트는 통화 처리 문서를 받고, Binky(CRO)라는 에이전트는 전환 문서를 받습니다.
관련 계층 — 제목/본문 매칭을 통한 쿼리별 동적 검색으로, 최대 5개 문서와 문서당 12,000자 예산으로 제한됩니다.
위키 계층 — 파일 시스템 브리지를 통해 검색 가능한 200개 이상의 참조 문서로, AI 역사, 도구 정의, 워크플로우 패턴, 플랫폼 비교를 다룹니다.

비밀 무기로서의 쿼리 분류

검색이 이루어지기 전에, 정규식 기반 분류기가 질문이 얼마나 많은 컨텍스트를 필요로 하는지 결정합니다:

DIRECT — "이 텍스트를 요약해줘"와 같이 KB가 필요 없는 작업용.
SKILL_ONLY — "트윗을 작성해줘"와 같이 에이전트의 기술 문서만으로 충분한 작업용.
HOT_CACHE — "누가 청구를 처리하나요?"와 같은 질문으로, 메모리 캐시의 거버넌스 및 에이전트 문서에서 답변됩니다.
FULL_RAG — "n8n 대 Zapier 가격 비교"와 같은 복잡한 쿼리로, 전체 벡터 검색과 위키 브리지가 필요합니다.

이 분류만으로도 대부분의 질문이 전체 RAG를 필요로 하지 않기 때문에 토큰 비용이 약 40% 절감되었다고 보고됩니다.

KB 구조와 조직

200개 이상의 문서 각각은 일관된 형식을 따릅니다: 범위가 명확한 제목, 실용적인 내용(표, 코드 예시, 의사 결정 프레임워크), 실제 URL이 포함된 2개 이상의 인용 출처, 5개의 이미지 참조 설명, 2개의 비디오 참조.

내용은 특정 도메인으로 구성됩니다:

AI/ML 기초 (18개 문서) — 역사, 트랜스포머, 임베딩, 에이전트
도구 (16개 문서) — 정의, 보안, 분류, 오류 처리, 감사
워크플로우 (18개 문서) — 유형, 플랫폼, 비용 분석, HIL 패턴
이미지 생성 (115개 파일) — 16개 제공업체, 비교, 프롬프트 프레임워크
비디오 생성 (109개 파일) — 처리 방법, 파이프라인, 플랫폼 가이드
지원 (60개 문서) — 고객 지원 센터 콘텐츠

자가 복구 시스템

이 아키텍처는 KB 건강 상태를 0-100 점수로 평가하고 문제를 자동으로 해결하는 평가 시스템을 포함합니다: 누락된 임베딩은 재임베딩을 트리거하고, 오래된 콘텐츠는 갱신 필요로 표시되며, 손상된 참조는 수리되거나 제거됩니다. 건강 점수는 첫 번째 복구 과정 후 71에서 89로 향상되었다고 보고됩니다.

결과와 주요 시사점

KB 구현 전에는 에이전트가 도구 정의를 지어내고, 가격을 만들어 내며, 일반적인 워크플로우 조언을 제공했습니다. 구현 후에는 에이전트가 특정 문서를 인용하고, 실제 가격을 포함한 정확한 플랫폼 비교를 제공하며, "그에 대한 최신 데이터가 없습니다"라고 말할 때를 알고 있습니다.

구현에서 얻은 주요 시사점: