Kreuzberg v4.7.0 ajoute l'intelligence du code pour 248 langues et une extraction markdown améliorée.
Kreuzberg v4.7.0 est désormais disponible. Il s'agit d'une bibliothèque d'intelligence documentaire basée sur Rust qui fonctionne avec Python, TypeScript/Node.js, Go, Ruby, Java, C#, PHP, Elixir, R, C et WASM.
Intelligence et extraction de code
Le point principal est l'intelligence et l'extraction de code. Kreuzberg prend désormais en charge 248 formats grâce à la bibliothèque tree-sitter-language-pack. Cela permet un analyse efficace du code pour une intégration directe en tant que bibliothèque pour les agents et via MCP. Les agents peuvent travailler avec des dépôts de code, examiner les demandes de fusion, indexer les bases de code et analyser les fichiers sources.
Kreuzberg extrait au niveau de l'AST :
- Fonctions
- Classes
- Imports
- Exports
- Symboles
- Docstrings
avec un découpage du code qui respecte les limites de portée.
Améliorations de la qualité du Markdown
Une mauvaise extraction de document peut entraîner des problèmes en aval. L'équipe a créé un banc d'essai utilisant les scores F1 structurel et F1 texte sur plus de 350 documents et 23 formats, puis a optimisé en fonction de cela.
Améliorations spécifiques :
- LaTeX : amélioré de 0 % à 100 % SF1
- XLSX : augmenté de 30 % à 100 % SF1
- SF1 des tableaux PDF : passé de 15,5 % à 53,7 %
Tous les 23 formats sont désormais à plus de 80 % SF1. Les pipelines de sortie reçoivent désormais par défaut des structures correctes.
Autres fonctionnalités clés
- Nouvelle couche de rendu markdown et nouvelle prise en charge de la sortie HTML
- Intégration OpenWebUI en tant que backend d'extraction de documents
- Options pour la compatibilité docling-serve ou connexion directe
- Architecture unifiée où chaque extracteur crée une représentation de document typée standard
- Format filaire TOON - un encodage de document compact qui réduit l'utilisation de tokens de prompt LLM de 30 à 50 %
- Étiquetage sémantique des segments
- Sortie JSON
- Validation stricte de la configuration
- Sécurité améliorée
Disponibilité
Kreuzberg est disponible sur GitHub : https://github.com/kreuzberg-dev/kreuzberg
Kreuzberg Cloud sera bientôt disponible - une version hébergée pour les équipes qui souhaitent la même qualité d'extraction sans gérer l'infrastructure. Plus d'informations sur : https://kreuzberg.dev
Les contributions sont les bienvenues.
📖 Read the full source: r/LocalLLaMA
👀 See Also
Relay : Un outil pour transférer les sessions de code Claude à d'autres agents IA
Relay est un binaire Rust qui extrait le contexte de session de Claude Code—y compris l'historique des conversations, les appels d'outils, les erreurs et l'état git—et le transfère à d'autres agents d'IA comme Codex ou Gemini lorsque les limites de débit sont atteintes. Il prend en charge 8 agents et peut être installé via GitHub ou npm.
ClawCut Proxy Publié sur GitHub pour Optimiser OpenClaw pour les Petits LLM
ClawCut est un proxy expérimental qui manipule, injecte des appels JSON et extrait l'encombrement JSON d'OpenClaw pour réduire la surcharge cognitive sur les petits modèles (7B-8B) fonctionnant sur du matériel limité.
Cerveau Ouvert : Le serveur MCP open-source ajoute une mémoire persistante avec auto-graph et recherche sémantique à Claude
Open Brain est un serveur MCP open source qui offre à Claude une mémoire persistante entre les sessions grâce à l'extraction automatique d'entités, la déduplication sémantique et la création automatique de graphes de connexions entre les pensées. Il utilise Supabase avec pgvector et Deno Edge Functions, est auto-hébergeable et comprend 16 outils MCP pour le parcours de graphes, la navigation dans les entités et la synthèse des revues hebdomadaires.
Pont Discord pour Sessions de Code Autonome Claude
Un script bridge.js (~50 lignes, discord.js v14) crée un chat bidirectionnel en temps réel entre Discord et Claude Code via WebSocket + file d'attente locale, remplaçant l'interrogation de 2 minutes par des lectures de fichiers en microsecondes. Testé sur 27 000 lignes analysées pendant la nuit.