AI 에이전트를 위한 복잡한 검색 파이프라인을 간단한 git 명령어로 대체하기

복잡한 파이프라인에서 간단한 git 명령으로

AI 에이전트용 git 기반 메모리 시스템인 DiffMem을 구축하는 개발자는 검색 레이어가 불필요하게 복잡하다는 사실을 발견했습니다. 코사인 유사도 점수를 계산하는 sentence-transformers, 키워드 검색을 위한 rank-bm25, 쿼리를 정제하고 결과를 합성하는 2단계 LLM 파이프라인, 그리고 의존성으로 scikit-learn과 numpy가 있었습니다. 이로 인해 3GB 도커 이미지(sentence-transformers가 PyTorch 전체를 끌어옴), 무거운 사용자에게 약 10%의 시간 초과, 그리고 매번 메모리 내 BM25 인덱스를 재구축하는 콜드 스타트가 발생했습니다.

깨달음: LLM은 이미 git을 알고 있다

핵심 통찰은 유닉스 명령이 모든 LLM 학습 데이터에서 가장 밀도 높은 도구 사용 패턴이라는 점을 인식하는 데서 나왔습니다. 수십억 개의 README 파일, CI 스크립트, Stack Overflow 답변은 grep, git log, cat 명령으로 가득 차 있습니다. LLM은 주변에 구축된 맞춤형 검색 파이프라인이 필요하지 않습니다—이미 셸 명령의 언어를 구사합니다.

단일 도구 솔루션

그들은 전체 복잡한 시스템을 하나의 도구로 교체했습니다:

{
  "name": "run",
  "description": "메모리 저장소에서 읽기 전용 명령 실행",
  "parameters": {
    "command": "셸 명령 (|, &&, ||, ; 연결 지원)"
  }
}

그게 전부입니다. 하나의 함수입니다. 에이전트는 grep, git diff, head 및 기타 유닉스 유틸리티를 가르칠 필요 없이 이미 알고 있는 셸 명령을 작성합니다.

에이전트 작동 방식

에이전트는 턴 전체에 걸쳐 고정된 프로토콜을 따릅니다:

• 엔티티 매니페스트 읽기
• 커밋 로그에 대한 시간적 프로브 실행
• 조사를 단일 도구 호출로 일괄 처리
• 검색 계획 출력
• 중지

에이전트는 내용이 아닌 포인터를 반환합니다. 턴 동안 가벼운 신호를 읽고(구조를 위한 head -30, 키워드를 위한 grep -n, 최근 변경 사항을 위한 git diff HEAD~3..), 코드에게 가져올 내용을 알려줍니다. 코드는 포인터를 해결하여 에이전트의 컨텍스트를 간결하게 유지합니다.

실제 예시

사용자가 업무 압박으로 고립감을 느낀다는 생일 메시지를 보냈을 때, 에이전트는 다음을 실행했습니다:

git log --format='%h %ad' --date=relative --name-only -15

이를 통해 wife.md와 company.md가 같은 세션에서 변경되었고, 주요 동료가 마지막 3개 세션 중 2개에 나타났다는 사실이 드러났습니다. 사용자의 메시지는 업무에 대해 아무것도 언급하지 않았습니다—BM25는 company.md를 절대 찾지 못했을 것이고, "생일에 고립감을 느낌"에 대한 의미적 유사성도 거기에 도달하지 못했을 것입니다. 하지만 커밋 기록의 동시 발생이 실제로 중요한 연결을 드러냈습니다.

3번째 턴에서 에이전트는 세미콜론으로 연결된 9개 명령으로 하나의 도구 호출을 구성했습니다:

git diff HEAD~2.. -- memories/people/wife.md; git log --stat -5 -- memories/people/wife.md; head -30 memories/people/wife.md; grep -n "birthday|surgery|stress" memories/people/wife.md; tail -50 timeline/2026-03.md; git diff HEAD~3.. -- timeline/2026-03.md; grep -n "project|deliverable" memories/contexts/company.md; git diff HEAD~2.. -- memories/contexts/company.md; git diff HEAD~1.. -- memories/people/colleague.md

최종 출력은 특정 git diff, 우선순위 수준, 토큰 추정치가 포함된 JSON 검색 계획이었습니다—내용이 아닌 포인터였습니다. 코드는 그런 다음 명령을 실행하고 토큰 예산에 맞게 컨텍스트를 조립했습니다.

결과

이 접근 방식으로 그들은 rank-bm25, sentence-transformers, scikit-learn, numpy를 삭제할 수 있었습니다. 도커 이미지는 약 3GB 감소했습니다. 서버 시작이 더 빠르고, 메모리의 일부만 사용하며, 콜드 스타트 시 BM25 인덱스가 더 이상 없습니다. 10%의 시간 초과율이 사라졌습니다. 실제 사용자 부하가 있는 Cloud Run에서 이는 약간의 개선이 아닌 다른 클래스의 배포였습니다.

남은 것: requests, openai, gitpython.