Kreuzberg v4.7.0 добавляет интеллектуальный анализ кода для 248 языков и улучшенное извлечение разметки Markdown.

Теперь доступен Kreuzberg v4.7.0. Это библиотека для анализа документов на основе Rust, которая работает с Python, TypeScript/Node.js, Go, Ruby, Java, C#, PHP, Elixir, R, C и WASM.

Анализ и извлечение кода

Основным нововведением является анализ и извлечение кода. Kreuzberg теперь поддерживает 248 форматов через библиотеку tree-sitter-language-pack. Это обеспечивает эффективный парсинг кода для прямой интеграции в качестве библиотеки для агентов и через MCP. Агенты могут работать с репозиториями кода, проверять pull request'ы, индексировать кодовые базы и анализировать исходные файлы.

Kreuzberg извлекает на уровне AST:

• Функции
• Классы
• Импорты
• Экспорты
• Символы
• Docstrings

с разбиением кода, которое учитывает границы областей видимости.

Улучшения качества Markdown

Плохое извлечение документов может привести к проблемам в дальнейшей обработке. Команда создала тестовый набор с использованием оценок Structural F1 и Text F1 для более чем 350 документов и 23 форматов, а затем оптимизировала систему на основе этих данных.

Конкретные улучшения:

• LaTeX: улучшен с 0% до 100% SF1
• XLSX: увеличен с 30% до 100% SF1
• PDF таблицы SF1: вырос с 15.5% до 53.7%

Все 23 формата теперь имеют показатель SF1 выше 80%. Выходные данные, которые получают конвейеры обработки, теперь по умолчанию структурно корректны.

Другие ключевые функции

• Новый слой рендеринга markdown и поддержка вывода HTML
• Интеграция с OpenWebUI в качестве бэкенда для извлечения документов
• Опции совместимости с docling-serve или прямое подключение
• Унифицированная архитектура, где каждый экстрактор создает стандартное типизированное представление документа
• Формат TOON - компактное кодирование документа, которое сокращает использование токенов в промптах LLM на 30-50%
• Семантическая маркировка фрагментов
• Вывод JSON
• Строгая проверка конфигурации
• Улучшенная безопасность

Доступность

Kreuzberg доступен на GitHub: https://github.com/kreuzberg-dev/kreuzberg

Kreuzberg Cloud скоро выйдет - это хостинговая версия для команд, которые хотят получить такое же качество извлечения без управления инфраструктурой. Подробнее на: https://kreuzberg.dev

Вклад приветствуется.