Deblank: Ferramenta para Remover Formatação de Código para Redução de Tokens em LLM
O que o Deblank faz
Deblank é uma ferramenta de pré-processamento que remove a formatação de código (indentação, espaços em branco, quebras de linha) antes de enviar o código para LLMs, com uma etapa de pós-processamento para restaurar a legibilidade. A transformação é bidirecional e segura para AST.
Resultados de Desempenho
Em avaliações com vários modelos (DeepSeek-V3, Claude, Gemini, etc.):
- ~30% de redução de tokens para linguagens como Java e C++
- ~9% de redução de tokens para Python
- Impacto insignificante na precisão Pass@1 para conclusão de código
- Latência média: ~76ms
Linguagens Suportadas e Recursos
- Python, Java, C/C++, C#, JavaScript/TypeScript e Go
- Lida razoavelmente bem com trechos incompletos
- Útil para fluxos de trabalho de preenchimento-no-meio
Começando
O projeto é de código aberto com estes recursos:
- GitHub: https://github.com/anpl-code/Deblank
- Artigo: https://arxiv.org/abs/2508.13666
- Docker:
docker pull zhangcen456/deblank:latest
Este tipo de otimização de tokens pode ser particularmente útil ao trabalhar com LLMs de contexto limitado ou ao processar grandes bases de código, embora o impacto varie conforme a linguagem devido às diferenças nas convenções de formatação.
📖 Leia a fonte completa: r/LocalLLaMA
👀 See Also
Tether: Um Servidor MCP para Compartilhar Contexto Entre Modelos de IA via SQLite
Tether é uma ferramenta de código aberto que compacta dados JSON em identificadores de 28 bytes endereçados por conteúdo, permitindo que múltiplos modelos de IA compartilhem contexto através de um banco de dados SQLite compartilhado. Funciona como um servidor MCP, possibilitando comunicação direta entre modelos como Claude e MiniMax sem necessidade de copiar e colar.
RescueBot: Backup e restauração baseado no Telegram para bots OpenClaw
RescueBot é uma habilidade leve que automaticamente tira snapshots das configurações do bot OpenClaw e permite restauração com um toque via comandos do Telegram, eliminando a necessidade de acesso SSH durante falhas.
molequla: Organismo de IA de Aprendizado Contínuo Construído do Zero com ClaudeCode
molequla é um organismo de IA de aprendizado contínuo implementado do zero em Go, C, JavaScript e Rust, com um orquestrador Python conectando-os. Cada elemento é uma implementação completa de transformer com autograd vetorial, treinado em texto bruto, que cresce e desenvolve uma personalidade ao longo do tempo.
Ferramenta CLI do Relay salva o contexto da sessão do Claude quando há limitação de taxa
Relay é uma ferramenta CLI em Rust que lê as transcrições de sessão .jsonl do Claude do disco e cria snapshots completos da sua sessão, incluindo conversa, chamadas de ferramentas, tarefas pendentes, estado do git e erros. Ele gera prompts de contexto para retomar sessões após os limites de taxa serem redefinidos.