규제 산업에서 RAG 봇 배포를 통해 얻은 실용적인 교훈

주요 구현 세부사항

이 사례 연구는 건설 현장, 노인 요양 시설, 광업 운영을 아우르는 호주 직장 규정 준수 사용 사례를 위한 RAG 기반 AI 어시스턴트 배포를 다룹니다.

기술적 교훈

• 쿼리 확장이 청크 크기보다 중요합니다: 청크 크기(400단어? 512토큰?)에 집착하기보다, 개발자는 Haiku를 통해 각 쿼리의 4가지 대체 표현을 생성하고, 이를 모두 ChromaDB에 실행한 후 결과를 병합하고 중복 제거하는 것이 검색 품질을 크게 향상시킨다는 사실을 발견했습니다. 이는 사용자가 문서 작성자와 다르게 표현하는 도메인 특화 전문 용어에 특히 효과적이었습니다.
• 명명된 문서에 대한 소스 부스트: 사용자의 쿼리에 인덱싱된 문서 제목과 일치하는 단어가 포함된 경우, 의미적 유사성에 관계없이 해당 문서의 청크를 강제로 포함시킵니다. 예를 들어, "FIFO 정책은 R&R 항공편에 대해 무엇이라고 말하나요?"라는 질문은 항상 FIFO 정책에서 가져와야 합니다 — 단순히 항공편을 언급하는 의미적으로 유사한 청크에서만 가져오는 것이 아닙니다.
• 프롬프트를 계층화하세요 — 클라이언트가 1계층을 깨지 못하게 하세요: 3계층 시스템을 구현했습니다: 핵심 보안/안전 규칙(불변), 수직적 성격(산업별 교체 가능), 클라이언트 맞춤 지침(추가만 가능). 클라이언트는 맞춤 지침을 통해 1계층을 재정의할 수 없습니다. 이는 "이전 지침 무시" 공격과 클라이언트가 실수로 자신의 봇을 탈옥시키는 것을 방지했습니다.
• 로컬 임베딩으로 충분합니다: 외부 임베딩 API 없이 ChromaDB에서 로컬로 실행되는 sentence-transformers all-MiniLM-L6-v2를 사용했습니다. 특정 도메인의 문서 Q&A의 경우, ada-002에 충분히 가까운 성능을 보여 비용과 지연 시간 절감이 가치가 있습니다. 어쨌든 LLM 품질(Claude Haiku)이 임베딩보다 더 많은 작업을 수행하고 있습니다.
• 클라이언트당 하나의 드롭렛: 처음에는 공유 인프라를 시도했지만, ChromaDB 컬렉션을 격리하고 API 키를 관리하며 교차 오염을 방지하는 운영 오버헤드가 클라이언트당 월 6달러 VM을 스핀업하는 것보다 더 나쁘다는 사실을 발견했습니다. 각 클라이언트는 자신의 벡터 저장소를 소유하며, 그들의 문서는 공유 인프라와 절대 접촉하지 않습니다.

개발자는 다른 사람들이 검토할 수 있도록 RAG 엔진을 GitHub에서 이용 가능하게 만들었습니다.