Deblank: Инструмент для Удаления Форматирования Кода с Целью Сокращения Токенов для LLM

Что делает Deblank

Deblank — это инструмент предварительной обработки, который удаляет форматирование кода (отступы, пробелы, переносы строк) перед отправкой кода в LLM, с последующим шагом восстановления читаемости. Преобразование является двунаправленным и безопасным для AST.

Результаты производительности

В оценках на нескольких моделях (DeepSeek-V3, Claude, Gemini и др.):

• Сокращение токенов примерно на 30% для языков вроде Java и C++
• Сокращение токенов примерно на 9% для Python
• Незначительное влияние на точность Pass@1 для завершения кода
• Средняя задержка: около 76 мс

Поддерживаемые языки и функции

• Python, Java, C/C++, C#, JavaScript/TypeScript и Go
• Достаточно хорошо обрабатывает неполные фрагменты кода
• Полезен для рабочих процессов fill-in-the-middle

Начало работы

Проект имеет открытый исходный код со следующими ресурсами:

• GitHub: https://github.com/anpl-code/Deblank
• Статья: https://arxiv.org/abs/2508.13666
• Docker: docker pull zhangcen456/deblank:latest

Такой тип оптимизации токенов может быть особенно полезен при работе с LLM с ограниченным контекстом или при обработке больших кодовых баз, хотя влияние варьируется в зависимости от языка из-за различий в соглашениях о форматировании.