O Krasis LLM Runtime Apresenta Melhorias de 8,9x na Velocidade de Preenchimento e 4,7x na Velocidade de Decodificação em Relação ao Llama.cpp

Benchmarks de Desempenho
O Krasis demonstra melhorias significativas de desempenho em comparação com o llama.cpp ao ser executado em hardware equivalente. Em uma única GPU 5090 limitada por PCIE 4.0, o Krasis mostra:
- Velocidade de preenchimento 8,9x mais rápida
- Velocidade de decodificação 4,7x mais rápida
Resultados específicos de benchmark para o Qwen3-Coder-Next mostram o Krasis sendo executado em uma única GPU 5080 de 16GB alcançando:
- 1801 tokens/seg no preenchimento
- 26,8 tokens/seg na decodificação
Isso supera o llama.cpp sendo executado em uma GPU 5090 de 32GB com descarregamento de camadas.
Mudanças na Arquitetura
A versão mais recente do Krasis abandonou o sistema de formato duplo e agora executa tanto o preenchimento quanto a decodificação inteiramente na GPU com diferentes estratégias de otimização para cada fase. Essa mudança arquitetônica resulta em:
- Requisitos reduzidos de CPU
- Menor dependência da velocidade da memória RAM do sistema
- Uso geral menor de RAM do sistema (agora precisa apenas do suficiente para o modelo quantizado mais alguma sobrecarga, comparado ao requisito anterior de 2,5x do modelo)
Modelos Suportados e Desempenho
Os modelos atualmente suportados com seu desempenho em uma única GPU 5090 (PCIE 4.0) são:
- Qwen3.5-35B-A3B: 4475 preenchimento, 109,1 decodificação
- Qwen3-Coder-Next: 3560 preenchimento, 70,3 decodificação
- Qwen3.5-122B-A10B: 2897 preenchimento, 27,7 decodificação
- Qwen3-235B-A22B: 2124 preenchimento, 9,3 decodificação
Planos Futuros de Desenvolvimento
O desenvolvedor planeja:
- Adicionar suporte para modelos Nvidia Nemotron, visando especificamente o Nemotron Super para GPUs de consumo como a 5080
- Potencialmente suportar modelos Nemotron maiores quando lançados
- Expandir o suporte a IDE e ferramentas para Opencode e Aider
Recursos Atuais
O Krasis atualmente oferece:
- Servidor compatível com OpenAI
- Instalação em linha única
- Disponibilidade no GitHub
📖 Leia a fonte completa: r/LocalLLaMA
👀 See Also

AlphaCreek: Um Servidor MCP que Fragmenta Arquivos SEC para Reduzir o Uso de Tokens em 85%
AlphaCreek é um conector MCP gratuito para o Claude que reduz o consumo de tokens em ~85% ao trabalhar com arquivos da SEC, primeiro retornando um sumário e depois buscando apenas as seções que o agente solicitar.

Melhorando as Sessões de Código do Claude com claude-self-improve
Claude-self-improve é uma ferramenta de linha de comando que melhora o desempenho da IA do Claude Code analisando dados de sessão e atualizando arquivos de memória automaticamente.

OpenClaw-superpowers adiciona recursos de confiabilidade para modos de falha operacionais.
O repositório openclaw-superpowers foi expandido com oito novas habilidades focadas em confiabilidade, incluindo verificações prévias de implantação, prova de execução de cron, recuperação de redefinição de sessão e gerenciamento do ciclo de vida de autenticação MCP. Essas adições elevam o total para 60 habilidades, sendo 44 nativas do OpenClaw e 23 projetadas para agendamento cron.

Protocolo Pilot: Pilha de Rede P2P de Código Aberto para Enxames de Agentes de IA
O Pilot Protocol é uma pilha de rede de sobreposição de código aberto nas camadas 3 e 4, projetada especificamente para comunicação entre agentes de IA, fornecendo túneis UDP criptografados diretos entre agentes com endereços virtuais permanentes de 48 bits.