Deblank : Outil pour Supprimer le Formatage du Code afin de Réduire les Tokens des LLM

Ce que fait Deblank

Deblank est un outil de prétraitement qui supprime la mise en forme du code (indentation, espaces, sauts de ligne) avant d'envoyer le code aux LLM, avec une étape de post-traitement pour restaurer la lisibilité. La transformation est bidirectionnelle et sûre pour l'AST.

Résultats de performance

Dans les évaluations sur plusieurs modèles (DeepSeek-V3, Claude, Gemini, etc.) :

• Réduction d'environ 30 % des tokens pour des langages comme Java et C++
• Réduction d'environ 9 % des tokens pour Python
• Impact négligeable sur la précision Pass@1 pour la complétion de code
• Latence moyenne : environ 76 ms

Langages et fonctionnalités pris en charge

• Python, Java, C/C++, C#, JavaScript/TypeScript et Go
• Gère raisonnablement bien les extraits incomplets
• Utile pour les workflows de remplissage au milieu

Pour commencer

Le projet est open-source avec ces ressources :

• GitHub : https://github.com/anpl-code/Deblank
• Article : https://arxiv.org/abs/2508.13666
• Docker : docker pull zhangcen456/deblank:latest

Ce type d'optimisation de tokens peut être particulièrement utile lorsque l'on travaille avec des LLM à contexte limité ou lors du traitement de grandes bases de code, bien que l'impact varie selon le langage en raison des différences de conventions de mise en forme.