Servidor MCP: Comparando LLMs Locais e na Nuvem com Recurso de Debate
O servidor MCP foi projetado para facilitar a comparação de modelos de linguagem locais e baseados em nuvem, permitindo consultas a vários provedores simultaneamente. Criado por um usuário conhecido como nesquikm, esta ferramenta suporta integração com modelos locais através do Ollama, bem como APIs de nuvem incluindo OpenAI, Gemini, Groq e Together AI.
Detalhes Principais
- Provedores Suportados: Pode ser direcionado para Ollama, LM Studio ou qualquer endpoint compatível com OpenAI.
- Misturar e Combinar Modelos: Combine modelos locais e vários provedores de nuvem em uma única consulta.
- Recursos de Comparação: As respostas são exibidas lado a lado, com opções para os modelos votarem na melhor abordagem ou participarem de debates estruturados, onde um terceiro modelo julga as respostas.
- Uso: Início rápido com o comando
npx mcp-rubber-duck. Compatível com múltiplos IDEs e plataformas como Claude Desktop, Cursor, VS Code ou qualquer cliente MCP, e também implantável via Docker. - Configuração: O repositório está disponível no GitHub em mcp-rubber-duck e é escrito em TypeScript sob a licença MIT. Observe que esta ferramenta ainda está em estágios iniciais e feedback é apreciado, especialmente de quem usa modelos locais como provedores.
Esta ferramenta pode ser particularmente útil para desenvolvedores interessados em entender como diferentes modelos abordam certos problemas, especialmente quando surgem discrepâncias.
📖 Leia a fonte completa: r/LocalLLaMA
👀 See Also
Ferramenta de código aberto para feeds do Reddit curados por IA usando Cloudflare, Supabase e Vercel
Um desenvolvedor disponibilizou como código aberto uma ferramenta auto-hospedada que filtra o Reddit em busca de postagens de qualidade sobre desenvolvimento assistido por IA, usando Cloudflare Workers para tarefas agendadas e proxies, Supabase para armazenamento e Vercel para o frontend. A ferramenta inclui pontuação de engajamento, resumos opcionais de LLM e custa US$ 1-2/mês para processamento de IA.
Lumyr: Geração de Dashboard via Claude com Automação Python e Streamlit
Lumyr é uma ferramenta que gera painéis interativos e compartilháveis a partir de descrições em inglês simples, utilizando o Claude para a geração dos painéis e automatizando a camada de Python e Streamlit. Os usuários não precisam escrever Python, abrir o Streamlit, implantar, configurar hospedagem ou gerenciar infraestrutura.
pop-pay MCP server adiciona guardrails de pagamento para agentes Claude Code
pop-pay é um servidor MCP que permite que agentes Claude Code realizem compras sem expor números de cartão de crédito. Ele usa injeção CDP para inserir credenciais de cartão virtual diretamente em iframes de pagamento, com Claude recebendo apenas números de confirmação mascarados.
Codebook Lossless LLM Compression: Redução de 10-25% na RAM com Empacotamento Bitwise
Um código de prova de conceito de um desenvolvedor demonstra a compressão sem perdas de LLMs ao empacotar pesos fp16 em blocos, alcançando redução de 10-25% na RAM com a contrapartida de aproximadamente reduzir pela metade a velocidade de inferência. A abordagem identifica que a maioria dos modelos usa apenas 12-13 bits de valores únicos, apesar da representação de 16 bits do fp16.