로컬 LLM 추론을 위한 프록시 수준 루프 탐지

아키텍처

클라이언트 → 프록시 → vLLM → 모델

프록시는 vLLM을 나가는 스트리밍 응답을 가로챕니다. 모델 가중치를 수정하지 않고, 두 번째 LLM을 호출하지 않으며, 임베딩이나 의미 분석을 사용하지 않습니다. 모든 검사는 저렴하고 결정론적입니다.

검사 항목

• 추론 토큰 상한 (노력 수준별로 설정 가능)
• 반복된 문단 감지
• 슬라이딩 윈도우 n-gram 반복
• 반복된 문장 지문 인식
• 퍼지 시작 패턴 감지 ("사실, 찾은 것 같아…"와 같은 루프 포착)
• 잘라서 계속하기 복구 경로

복구 흐름

가드가 작동하면:

• 업스트림 스트림 중지
• 지금까지 생성된 추론 캡처
• 해당 추론을 이전 어시스턴트 컨텍스트로 포함시켜 요청 재전송
• 연속 추론에 대해 생각 비활성화
• 1단계와 2단계 사용 통계 병합

vLLM 프리픽스 캐싱이 이미 활성화되어 있으므로 연속은 사실상 매끄럽습니다. 2단계는 일반적으로 TTFT 50~100ms로 재개되므로 클라이언트는 중단 없이 추론이 최종 답변으로 직접 흐르는 것을 확인합니다.

관찰 가능성

프록시는 각 트리거에 대해 다음을 기록합니다:

• 가드가 작동했는지 여부
• 트리거 이유
• 사용된 토큰 상한
• 추론 토큰 수
• 병합된 총 사용량
• 스트림 종료 메타데이터

결과

이전: 때때로 2000개 이상의 추론 토큰 블록이 아무런 결과 없이 소모됨. 이후: 모델은 여전히 유용할 때 추론하지만, 폭주하는 생각은 잘려서 답변으로 리디렉션됩니다. 저자는 이를 "로컬 LLM 추론을 위한 프록시 수준 안전벨트"라고 설명합니다.

모델 수술도, 추가 LLM 호출도 없이 오직 스트림 가로채기, 토큰 계산, 루프 감지, 깔끔한 복구 경로만 사용합니다. 이 가드는 실제 프록시를 통해 종단 간 검증되었으며 실제 추적 로그를 기반으로 확인되었습니다.