Réducteur de Tokens : Un Plugin Claude Code pour la Compression Intelligente du Contexte

Token Reducer est un plugin Claude Code qui résout le problème de consommation excessive de tokens lors du travail avec des dépôts de taille moyenne à grande. L'outil traite le contexte du dépôt localement avant de l'envoyer à Claude, réduisant considérablement la taille du contexte sans perdre le code pertinent.

Fonctionnement

Le plugin utilise plusieurs techniques pour compresser intelligemment le contexte :

• Découpage basé sur AST — Analyse le code en unités significatives (fonctions, classes, blocs) au lieu d'un simple découpage textuel
• Récupération hybride — Combine BM25 (correspondance de mots-clés) avec la similarité vectorielle pour trouver les segments les plus pertinents
• Compression TextRank — Applique une synthèse extractive pour conserver les parties importantes et éliminer le bruit
• Cartographie du graphe d'import — Trace les dépendances pour que le code lié reste ensemble
• Expansion de symboles à 2 sauts — Lorsqu'on travaille sur une fonction A qui appelle une fonction B, elle inclut automatiquement le contexte de B

Performances et tests

Lors des tests sur des dépôts Python, TypeScript et JavaScript, le développeur rapporte une réduction de 90 à 98 % de la taille du contexte sans perte du code pertinent pour la tâche. L'outil a été construit en utilisant Claude lui-même pour itérer sur l'architecture, en commençant par un découpeur basique et en testant sur des tâches de codage réelles jusqu'à obtenir une compression serrée mais préservant le contexte.

Installation et disponibilité

Token Reducer est entièrement gratuit et sous licence MIT. Pour l'installer :

/plugin marketplace add Madhan230205/token-reducer

Le code source est disponible sur GitHub à github.com/Madhan230205/token-reducer. Le développeur sollicite des retours sur les cas où la compression aide les flux de travail, les situations où un contexte important est perdu, et les langages ou structures de dépôt nécessitant une meilleure prise en charge.

Détails techniques

Le plugin fonctionne entièrement localement, sans API cloud et sans que les données ne quittent votre machine. Il a été empaqueté en tant que plugin Claude Code après avoir fonctionné de manière fiable sur les propres projets du développeur. Le dépôt est ouvert aux contributions, avec de la place pour optimiser pour différents langages, ajouter une mise en cache plus intelligente ou ajuster les paramètres de récupération.