코딩 에이전트가 대부분의 작업에서 LSP보다 Grep을 선호하는 이유

AgentConnect 엔지니어 Pengcheng Xu는 코딩 에이전트가 코드 검색을 위해 grep과 LSP 기반 의미적 탐색을 어떻게 사용하는지 비교하는 파일럿 연구를 실행했습니다. 놀라운 결과: 에이전트는 더 정밀한 의미적 도구를 사용할 수 있을 때조차 종종 grep을 선택하며, 의미적 경로를 강제하면 작업 성공률이 떨어질 수 있습니다.

작업 형태에 따른 도구 선택

세 가지 Claude 모델(Opus 4.8, Sonnet 4.6, Haiku 4.5)과 여러 저장소에서, 모델은 두 도구 모두 사용 가능했을 때 간단한 코드 위치 파악 작업에서 LSP 도구를 0–6%만 선택했습니다. 참조 완전성 작업(함수의 모든 호출자 찾기)에서는 프롬프트 없이도 45–57%로 증가했습니다.

지역화 작업에서 의미적 우선 경로를 강제하면 성공률이 100%에서 89%로 떨어졌습니다. 모델의 도구 선택은 일률적 선호가 아니라 작업 형태에 따라 달라집니다.

의미적 도구는 노이즈 많은 코드베이스에서만 승리

참조 완전성 작업에서 LSP 기반 경로는 grep의 0.76에 비해 1.00의 정밀도를 달성했지만, 재현율은 둘 다 약 0.66에 머물렀습니다. 병목은 검색 노이즈가 아니라 에이전트가 호출자를 얼마나 철저히 탐색하는지에 있습니다.

정확도 향상의 결정적 요인은 언어 유형이 아니라 어휘 노이즈였습니다. 깨끗한 TypeScript 저장소(remeda)에서 LSP는 F1 이득이 전혀 없었고 토큰을 16% 더 소모했습니다. 노이즈가 많은 TypeScript 저장소(hono)에서는 LSP가 F1을 0.246 향상시키고 토큰을 12% 적게 사용했습니다.

LLM 친화성이 정밀도보다 중요

도구는 결과가 정밀하다고 해서 자동으로 모델 친화적인 것은 아닙니다. 다음 단계에 충분한 컨텍스트를 반환하고 모델이 직접 사용할 수 있는 형태로 제시해야 합니다. 친숙함도 중요합니다. 모델이 훈련 중 grep 스타일의 작업 경로를 학습했을 수 있지만, 이는 가설일 뿐 입증된 원인은 아닙니다.

결과는 더 큰 엔지니어링 문제를 강조합니다: 모델은 도구를 독립적으로 사용하지 않습니다. 그들은 작업 이름, 입력, 반환된 컨텍스트를 정의하는 하네스를 통해 작업합니다. 당신의 도구 루프는 모델의 능력 표면의 일부입니다.