Revisão de Desempenho do Omnicoder-9B: Velocidade vs. Problemas de Chamada de Ferramentas

Visão Geral Técnica

Omnicoder-9B é um modelo específico para programação desenvolvido pela Tesslate, baseado na arquitetura Qwen 3.5. Ele foi ajustado sobre o Qwen3.5 9B usando saídas de vários modelos, incluindo Opus 4.6, GPT 5.4, GPT 5.3 Codex e Gemini 3.1 Pro.

Características de Desempenho

O modelo demonstra um desempenho forte em hardware de médio porte. Com 12 GB de VRAM, usuários relatam geração consistente de tokens a 15 tokens/segundo mesmo com o tamanho do contexto definido em 100k. O processamento de prompts é notavelmente rápido, com aproximadamente 265 tokens/segundo. O modelo funciona sem travar sistemas ou causar degradação de desempenho.

Limitações e Problemas

Apesar das vantagens de velocidade, o Omnicoder-9B mostra várias limitações em cenários práticos de programação:

• Falhou em gerar um clone completo do Super Mario em um arquivo HTML independente com um prompt único
• Experimentou falhas na chamada de ferramentas com servidores MCP, gerando erros MCP durante a busca de dados
• Problemas ao executar chamadas de ferramentas de escrita do Claude Code, embora isso possa envolver fatores de compatibilidade

Testes de Integração em IDE

Testes em ambientes de desenvolvimento revelaram resultados mistos:

• No LM Studio com Roo Code: Ocorreram desconexões conforme o tamanho do token aumentava para 4k, embora isso pareça ser um problema de integração e não específico do modelo
• O modelo atualizou ou escreveu pequenos scripts com sucesso com tamanhos de token entre 2-3k
• Solicitações de API falharam para tokens acima de 4k sem mensagens de erro
• No Claude Code: A geração de tokens pareceu mais lenta em comparação com o Roo Code, e o modelo falhou em executar chamadas de ferramentas de escrita após gerar a saída

O usuário observa que o Roo Code tem sido a extensão mais eficaz para LLMs locais entre Continue e outras opções testadas.