Leanstral: Agente de Código de Código Aberto para Lean 4 e Engenharia de Provas Formais

O que é o Leanstral

O Leanstral é um agente de código de código aberto projetado especificamente para o Lean 4, um assistente de prova capaz de expressar objetos matemáticos complexos e especificações de software. Diferente dos sistemas de prova existentes que atuam como wrappers em torno de modelos generalistas grandes, o Leanstral é treinado para operar em repositórios formais realistas com 6B parâmetros ativos.

Detalhes Técnicos Principais

O modelo utiliza uma arquitetura altamente esparsa otimizada para tarefas de engenharia de provas. Ele aproveita a inferência paralela com o Lean como verificador, tornando-o tanto performático quanto custo-eficiente. O Leanstral suporta MCPs arbitrários através do Mistral Vibe e foi especificamente treinado para alcançar desempenho máximo com o frequentemente usado lean-lsp-mcp.

Benchmarks de Desempenho

O Leanstral foi avaliado usando o FLTEval, um novo conjunto de avaliação focado em cenários realistas de engenharia de provas em vez de problemas matemáticos isolados. Os benchmarks comparam a conclusão de provas formais e a definição correta de novos conceitos matemáticos em PRs para o projeto FLT.

Comparado a Modelos de Código Aberto

• Leanstral-120B-A6B alcança uma pontuação de 26,3 com pass@2 (2 passagens de inferência)
• GLM5-744B-A40B atinge aproximadamente 16,6
• Kimi-K2.5-1T-32B atinge aproximadamente 20,1
• Qwen3.5-397B-A17B requer 4 passagens para alcançar 25,4
• Leanstral escala linearmente, atingindo 29,3 em pass@4 e 31,9 em pass@16

Comparado à Família Claude

• Leanstral pass@2 (pontuação 26,3) supera Sonnet (23,7) por 2,6 pontos
• Custo: Leanstral $36 vs. Sonnet $549
• Leanstral pass@16 atinge 31,9, superando Sonnet por 8 pontos
• Claude Opus 4.6 lidera com 39,6 mas custa $1.650 (92× o custo do Leanstral)
• Haiku pontua 23,0 a $184

Exemplo de Estudo de Caso

Quando apresentado com uma pergunta do mundo real do Proof Assistants Stack Exchange sobre um script que parou de compilar no Lean 4.29.0-rc6, o Leanstral construiu com sucesso código de teste para recriar o ambiente de falha. Ele diagnosticou que um def T2 := List Bool estava bloqueando a tática rw de corresponder padrões devido a problemas de igualdade definicional. A correção proposta foi trocar def por abbrev, já que abbrev cria um alias transparente.

Disponibilidade

Os pesos do Leanstral são lançados sob licença Apache 2.0, disponíveis no modo agente dentro do Mistral Vibe e através de um endpoint de API gratuito. Um relatório técnico detalhando a abordagem de treinamento também será lançado.