Kreuzberg v4.7.0 adiciona inteligência de código para 248 idiomas e extração aprimorada de markdown
Kreuzberg v4.7.0 já está disponível. Esta é uma biblioteca de inteligência de documentos com núcleo em Rust que funciona com Python, TypeScript/Node.js, Go, Ruby, Java, C#, PHP, Elixir, R, C e WASM.
Inteligência e Extração de Código
O principal destaque é a inteligência e extração de código. Kreuzberg agora suporta 248 formatos através da biblioteca tree-sitter-language-pack. Isso permite análise eficiente de código para integração direta como biblioteca para agentes e via MCP. Agentes podem trabalhar com repositórios de código, revisar pull requests, indexar bases de código e analisar arquivos fonte.
Kreuzberg extrai no nível AST:
- Funções
- Classes
- Imports
- Exports
- Símbolos
- Docstrings
com divisão de código que respeita os limites de escopo.
Melhorias na Qualidade do Markdown
Uma extração de documentos ruim pode causar problemas no pipeline. A equipe criou um sistema de benchmark usando pontuações Structural F1 e Text F1 em mais de 350 documentos e 23 formatos, então otimizou com base nisso.
Melhorias específicas:
- LaTeX: melhorou de 0% para 100% SF1
- XLSX: aumentou de 30% para 100% SF1
- SF1 de tabelas PDF: foi de 15,5% para 53,7%
Todos os 23 formatos estão agora com mais de 80% SF1. O pipeline de saída recebe agora estruturalmente correto por padrão.
Outras Funcionalidades Principais
- Nova camada de renderização markdown e novo suporte a saída HTML
- Integração OpenWebUI como backend de extração de documentos
- Opções para compatibilidade com docling-serve ou conexão direta
- Arquitetura unificada onde cada extrator cria uma representação de documento tipada padrão
- Formato de fio TOON - uma codificação de documento compacta que reduz o uso de tokens de prompt LLM em 30 a 50%
- Rotulação semântica de fragmentos
- Saída JSON
- Validação de configuração rigorosa
- Segurança aprimorada
Disponibilidade
Kreuzberg está disponível no GitHub: https://github.com/kreuzberg-dev/kreuzberg
Kreuzberg Cloud será lançado em breve - uma versão hospedada para equipes que desejam a mesma qualidade de extração sem gerenciar infraestrutura. Mais informações em: https://kreuzberg.dev
Contribuições são bem-vindas.
📖 Read the full source: r/LocalLLaMA
👀 See Also
Estagiário de física da Hugging Face: Framework multiagente dobra Gemini no benchmark CritPt
Hugging Face lançou physics-intern, um framework multiagente para pesquisa em física teórica que dobra o desempenho dos modelos Gemini no benchmark CritPt e estabelece um novo SOTA em relação ao GPT-5.5 Pro com custo mais baixo.
Biblioteca de Personalidades Orientada pela Comunidade para Agentes de IA: SOULS
Um usuário do Reddit criou um repositório de código aberto com arquivos de personalidade cuidadosamente elaborados ("almas") para agentes de IA de codificação. O repositório atualmente inclui Jarvis, Gojo, Eren Yeager, René Descartes e Rapper, com um pedido de contribuições da comunidade.
Fora da Rede: Utilizando o Hardware do Telefone para Aplicações de IA Offline
Off Grid é um aplicativo de código aberto que usa o hardware do seu telefone para tarefas de IA offline, como geração de texto e transcrição de voz.
Selfware: Framework de agente de IA local baseado em Rust com arquitetura PDVR
Selfware é um framework de agente de IA de código aberto construído em Rust para inferência local, implementando um ciclo cognitivo PDVR com 54 ferramentas integradas e projetado para tarefas de longa duração em hardware de consumo.