A Cerebras lança os modelos Step-3.5-Flash-REAP com redução de 40% no uso de memória.
O que é isso
A Cerebras lançou os modelos Step-3.5-Flash-REAP, que são variantes compactadas com eficiência de memória de seus modelos maiores. Estas são versões menores projetadas para o que a fonte chama de "configurações básicas", embora o modelo de 121B parâmetros ainda exija recursos significativos.
Detalhes principais da fonte
Os modelos estão disponíveis no Hugging Face:
O modelo Step-3.5-Flash-REAP-121B-A11B é compactado de 196B para 121B parâmetros, representando uma redução de 40% na memória enquanto mantém desempenho quase idêntico ao modelo completo.
A compressão utiliza REAP (Router-weighted Expert Activation Pruning), descrito como "um novo método de poda de especialistas que remove seletivamente especialistas redundantes enquanto preserva o controle independente do roteador sobre os especialistas restantes".
Recursos e capacidades
- Desempenho quase sem perdas: Mantém precisão quase idêntica em geração de código, codificação agentiva e tarefas de chamada de funções comparado ao modelo completo de 196B
- Redução de 40% na memória: Compactado de 196B para 121B parâmetros, reduzindo custos de implantação e requisitos de memória
- Capacidades preservadas: Mantém todas as funcionalidades principais incluindo geração de código, matemática & raciocínio, e chamada de ferramentas
- Compatibilidade direta: Funciona com vLLM padrão - nenhuma modificação na fonte ou patches personalizados necessários
- Otimizado para uso real: Particularmente eficaz para ambientes com recursos limitados, implantações locais e pesquisa acadêmica
A fonte observa que, embora sejam "versões menores", o modelo de 121B ainda requer uma configuração bastante poderosa apesar da compressão.
📖 Leia a fonte completa: r/LocalLLaMA
👀 See Also
A Claude restringe o uso de ferramentas de terceiros, incluindo a OpenClaw, a partir de 4 de abril.
A Anthropic não permitirá mais que os limites de assinatura do Claude sejam usados com ferramentas de terceiros como o OpenClaw a partir de 4 de abril, exigindo cobrança separada por uso para esse tipo de utilização. Os usuários receberão um crédito único igual ao preço de sua assinatura mensal e poderão pré-comprar pacotes de uso com desconto de até 30%.
Pesquisa Checkmarx: 70% dos desenvolvedores dizem que código de IA tem mais vulnerabilidades; 30% o implantam mesmo assim
70% dos desenvolvedores acreditam que o código gerado por IA tem significativamente mais vulnerabilidades, mas 30% ainda assim enviam código vulnerável para produção. A pesquisa da Checkmarx com 2.350 entrevistados também revela que 93% das organizações sofreram violações de segurança devido a aplicativos vulneráveis.
Claude Code v2.1.172: Sub-Agentes agora com 5 níveis de profundidade, correções na região Bedrock e ganhos de desempenho
O Claude Code v2.1.172 permite que subagentes gerem subagentes até 5 níveis de profundidade, corrige a detecção de região do Bedrock, adiciona busca de plugins e melhora o desempenho em conversas longas.
Anthropic Responde a Vazamento de Código Envolvendo o Agente de IA Claude
A Anthropic está trabalhando para conter um vazamento de código relacionado ao seu agente de IA Claude, de acordo com um relatório do WSJ discutido no Hacker News com 13 pontos e 6 comentários.