Deblank: Herramienta para Eliminar el Formato de Código y Reducir Tokens en LLM

Qué hace Deblank

Deblank es una herramienta de preprocesamiento que elimina el formato del código (sangría, espacios en blanco, saltos de línea) antes de enviar el código a LLMs, con un paso de postprocesamiento para restaurar la legibilidad. La transformación es bidireccional y segura para el AST.

Resultados de rendimiento

En evaluaciones en varios modelos (DeepSeek-V3, Claude, Gemini, etc.):

• Reducción de tokens de aproximadamente un 30% para lenguajes como Java y C++
• Reducción de tokens de aproximadamente un 9% para Python
• Impacto insignificante en la precisión Pass@1 para completado de código
• Latencia promedio: ~76ms

Lenguajes y características compatibles

• Python, Java, C/C++, C#, JavaScript/TypeScript y Go
• Maneja fragmentos incompletos razonablemente bien
• Útil para flujos de trabajo de relleno en medio

Cómo empezar

El proyecto es de código abierto con estos recursos:

• GitHub: https://github.com/anpl-code/Deblank
• Artículo: https://arxiv.org/abs/2508.13666
• Docker: docker pull zhangcen456/deblank:latest

Este tipo de optimización de tokens puede ser particularmente útil cuando se trabaja con LLMs de contexto limitado o al procesar grandes bases de código, aunque el impacto varía según el lenguaje debido a diferencias en convenciones de formato.