Deblank: Ferramenta para Remover Formatação de Código para Redução de Tokens em LLM

O que o Deblank faz

Deblank é uma ferramenta de pré-processamento que remove a formatação de código (indentação, espaços em branco, quebras de linha) antes de enviar o código para LLMs, com uma etapa de pós-processamento para restaurar a legibilidade. A transformação é bidirecional e segura para AST.

Resultados de Desempenho

Em avaliações com vários modelos (DeepSeek-V3, Claude, Gemini, etc.):

• ~30% de redução de tokens para linguagens como Java e C++
• ~9% de redução de tokens para Python
• Impacto insignificante na precisão Pass@1 para conclusão de código
• Latência média: ~76ms

Linguagens Suportadas e Recursos

• Python, Java, C/C++, C#, JavaScript/TypeScript e Go
• Lida razoavelmente bem com trechos incompletos
• Útil para fluxos de trabalho de preenchimento-no-meio

Começando

O projeto é de código aberto com estes recursos:

• GitHub: https://github.com/anpl-code/Deblank
• Artigo: https://arxiv.org/abs/2508.13666
• Docker: docker pull zhangcen456/deblank:latest

Este tipo de otimização de tokens pode ser particularmente útil ao trabalhar com LLMs de contexto limitado ou ao processar grandes bases de código, embora o impacto varie conforme a linguagem devido às diferenças nas convenções de formatação.