デブランク：LLMトークン削減のためのコード書式除去ツール

Deblankの機能

Deblankは、コードをLLMに送信する前にコードのフォーマット（インデント、空白、改行）を除去する前処理ツールで、後処理ステップで可読性を回復します。この変換は双方向で、ASTセーフです。

パフォーマンス結果

複数のモデル（DeepSeek-V3、Claude、Geminiなど）での評価では：

• JavaやC++などの言語で約30%のトークン削減
• Pythonで約9%のトークン削減
• コード補完のPass@1精度への影響は無視できる程度
• 平均レイテンシ：約76ms

サポート言語と機能

• Python、Java、C/C++、C#、JavaScript/TypeScript、Go
• 不完全なスニペットも適切に処理
• フィル・イン・ザ・ミドルワークフローに有用

はじめに

このプロジェクトはオープンソースで、以下のリソースが利用可能です：

• GitHub: https://github.com/anpl-code/Deblank
• 論文: https://arxiv.org/abs/2508.13666
• Docker: docker pull zhangcen456/deblank:latest

この種のトークン最適化は、コンテキストが制限されたLLMを扱う場合や大規模なコードベースを処理する際に特に有用ですが、フォーマット規則の違いにより言語ごとの影響は異なります。