디블랭크: LLM 토큰 절감을 위한 코드 서식 제거 도구

Deblank의 기능

Deblank은 코드를 LLM으로 전송하기 전에 코드 형식화(들여쓰기, 공백, 줄 바꿈)를 제거하고, 가독성을 복원하는 후처리 단계를 거치는 전처리 도구입니다. 이 변환은 양방향이며 AST-안전합니다.

성능 결과

여러 모델(DeepSeek-V3, Claude, Gemini 등)을 대상으로 한 평가에서:

• Java 및 C++와 같은 언어에서 약 30%의 토큰 감소
• Python에서 약 9%의 토큰 감소
• 코드 완성의 Pass@1 정확도에 미미한 영향
• 평균 지연 시간: 약 76ms

지원 언어 및 기능

• Python, Java, C/C++, C#, JavaScript/TypeScript, Go
• 불완전한 코드 조각을 합리적으로 잘 처리
• 중간 채우기 워크플로우에 유용

시작하기

이 프로젝트는 다음과 같은 리소스와 함께 오픈소스로 제공됩니다:

• GitHub: https://github.com/anpl-code/Deblank
• 논문: https://arxiv.org/abs/2508.13666
• Docker: docker pull zhangcen456/deblank:latest

이러한 토큰 최적화는 컨텍스트 제한이 있는 LLM으로 작업하거나 대규모 코드베이스를 처리할 때 특히 유용할 수 있지만, 형식화 관행의 차이로 인해 언어별 영향은 다양합니다.