Deblank: Tool zur Entfernung von Code-Formatierung für LLM-Token-Reduzierung

Was Deblank macht

Deblank ist ein Vorverarbeitungstool, das Code-Formatierung (Einrückungen, Leerzeichen, Zeilenumbrüche) entfernt, bevor Code an LLMs gesendet wird, mit einem Nachverarbeitungsschritt zur Wiederherstellung der Lesbarkeit. Die Transformation ist bidirektional und AST-sicher.

Leistungsergebnisse

In Evaluierungen über mehrere Modelle hinweg (DeepSeek-V3, Claude, Gemini usw.):

• ~30 % Token-Reduktion für Sprachen wie Java und C++
• ~9 % Token-Reduktion für Python
• Vernachlässigbare Auswirkungen auf die Pass@1-Genauigkeit für Code-Vervollständigung
• Durchschnittliche Latenz: ~76 ms

Unterstützte Sprachen und Funktionen

• Python, Java, C/C++, C#, JavaScript/TypeScript und Go
• Verarbeitet unvollständige Code-Schnipsel recht gut
• Nützlich für Fill-in-the-Middle-Workflows

Erste Schritte

Das Projekt ist Open-Source mit diesen Ressourcen:

• GitHub: https://github.com/anpl-code/Deblank
• Paper: https://arxiv.org/abs/2508.13666
• Docker: docker pull zhangcen456/deblank:latest

Diese Art der Token-Optimierung kann besonders nützlich sein, wenn mit kontextbeschränkten LLMs gearbeitet wird oder große Codebasen verarbeitet werden, obwohl die Auswirkungen je nach Sprache aufgrund unterschiedlicher Formatierungskonventionen variieren.