정비소를 위한 AI 리셉션스트 구축: RAG 파이프라인과 음성 통합

RAG 파이프라인 구축

첫 번째 단계는 환각 현상을 방지하기 위해 정확한 지식 베이스를 만드는 것이었습니다. 개발자는 정비소 웹사이트의 서비스 페이지와 가격 정보를 마크다운 파일로 스크래핑하여 서비스 유형, 가격, 소요 시간, 영업 시간, 결제 방법, 취소 정책, 보증 정보, 대여 차량, 특정 차종 정보 등을 포함한 21개 이상의 문서로 구성된 구조화된 지식 베이스를 만들었습니다.

각 문서는 Voyage AI(voyage-3-large)를 사용하여 1024차원 벡터로 변환된 후 원본 텍스트와 함께 MongoDB Atlas에 저장되었으며, 임베딩 필드에 Atlas Vector Search 인덱스가 생성되었습니다.

고객이 질문을 하면 동일한 Voyage AI 모델을 사용해 쿼리가 임베딩되어 Atlas Vector Search 인덱스에 대해 실행되며, 의미적으로 가장 유사한 상위 3개의 문서가 반환됩니다. 검색된 문서는 엄격한 시스템 프롬프트와 함께 Anthropic Claude(claude-sonnet-4-6)에 컨텍스트로 전달됩니다: 지식 베이스에서만 답변하라, 응답을 짧고 대화식으로 유지하라, 모르는 내용이 있으면 그렇게 말하고 메시지를 받겠다고 제안하라.

예시 응답: "오일 교환 비용은 얼마인가요?" → "일반 오일은 $45, 합성 오일은 $75입니다. 오일 필터, 유체 보충, 타이어 공기압 점검이 포함됩니다. 약 30분 정도 소요됩니다."

실제 전화 라인 연결

개발자는 음성 플랫폼으로 Vapi를 사용하여 전화 통신을 처리했습니다: 전화번호 구매, 음성-텍스트 변환(Deepgram via), 텍스트-음성 변환(ElevenLabs via), 서버로의 실시간 함수 호출 등이 포함됩니다.

FastAPI 웹훅 서버가 /webhook 엔드포인트로 구축되었습니다. 발신자가 질문을 하면 Vapi가 발신자의 쿼리와 함께 이 엔드포인트로 도구 호출 요청을 보냅니다. 서버는 이를 RAG 파이프라인으로 라우팅하고 Claude로부터 응답을 받아 Vapi로 다시 보내며, Vapi는 이를 발신자에게 소리 내어 읽어줍니다.

개발 과정에서 서버는 로컬의 8000번 포트에서 실행되며 Ngrok를 사용하여 노출됩니다. Ngrok는 공개 HTTPS URL로의 터널을 생성하며, 이 URL은 웹훅 엔드포인트로 Vapi 대시보드에 붙여넣어집니다.

Vapi 대시보드에서 어시스턴트는 인사말("안녕하세요, Dane's Motorsport에 전화 주셔서 감사합니다. 오늘 어떻게 도와드릴까요?")과 두 가지 도구로 구성되었습니다: RAG 기반 응답을 위한 answerQuestion과 답변할 수 없는 질문 시 이름과 번호를 수집하는 saveCallback입니다.

Vapi는 각 요청 시 전체 대화 기록을 전송하여 대화 기억을 가능하게 합니다.