RTX 5000 PRO 48GB ofrece 4400 tok/s de almacenamiento en caché de precisión para Qwen3.6-27B
Un desarrollador se la jugó con la RTX 5000 Pro 48GB ($4300 impuestos incluidos) frente a una Mac Studio, y los números justifican el salto: hasta 4400 tokens/segundo en procesamiento de prompt (PP) y 50–80 tok/s en generación de texto (TG) con Qwen3.6-27B-FP8 y un caché KV de precisión completa BF16.
Desglose de hardware y costos
- Costo de la GPU: $4300 (impuestos incluidos)
- Costo total del equipo: $5600 con 64 GB de RAM
- Límite de contexto: 200K tokens a precisión completa (caché KV BF16)
Puntos de referencia de rendimiento
- Procesamiento de prompt: 4400 tok/s
- Generación de texto: 50–60 tok/s para prompts muy grandes, hasta 80 tok/s para prompts más pequeños
- Modelo: Qwen3.6-27B-FP8 con caché de precisión completa
- Consumo de energía: Aproximadamente la mitad de una configuración con dos RTX 5090
Observaciones clave
El usuario armó la PC sin experiencia previa, apoyándose en Claude Code (gastando el 50% de los límites semanales de Claude Code Max en la configuración de vLLM/Linux). Una publicación en Reddit con los ajustes exactos de vLLM para Qwen3.6-27B-FP8 con caché BF16 fue la referencia principal. El autor señala que dos RTX 5090 rendirían mejor, pero con un costo, ruido y consumo de energía significativamente mayores.
📖 Lee la fuente completa: r/LocalLLaMA
👀 Ver también
China prohíbe a los cofundadores de Manus salir del país durante la revisión del acuerdo con Meta
China ha prohibido a dos cofundadores de la startup de inteligencia artificial Manus salir del país mientras los reguladores revisan si la adquisición de Meta por $2 mil millones violó las normas de inversión. Los ejecutivos fueron convocados a Beijing para una reunión con la Comisión Nacional de Desarrollo y Reforma este mes.
Crítica del Límite de Abstracción y del Enfoque de Integración de Servicios del MCP
Una discusión en Reddit critica al MCP por agrupar el acceso a la API, herramientas eficientes y conocimiento del dominio en una sola capa, argumentando que esto crea interfaces limitadas en comparación con las API subyacentes. La publicación utiliza Lattice como ejemplo, donde su API pública solo cubre flujos de trabajo de administración de recursos humanos a pesar de tener una API GraphQL completa.
Claude-Code v2.1.80 agrega monitoreo de límites de tasa, mejoras en complementos y optimizaciones de memoria.
Claude-Code v2.1.80 introduce un campo rate_limits para scripts de barra de estado que muestra el uso de Claude.ai, agrega soporte para source: 'settings' en el mercado de plugins, y reduce el uso de memoria en aproximadamente 80 MB en repositorios grandes. La versión también corrige la restauración de resultados de herramientas paralelas, fallas de WebSocket y varios problemas de interfaz de usuario.
El Programa ACCESS de Medicare: Modelo de Pago Diseñado para Agentes de IA, Detalles Aquí
El programa ACCESS de CMS paga por la atención crónica impulsada por IA, no solo por el tiempo con los médicos. Flora, el agente de voz de Pair Team, redujo las visitas a urgencias en un 50%. La cohorte comienza el 5 de julio.