Claude 4.6 Opus Razonamiento Destilado a 14GB para Apple Silicon mediante Cuantización MLX
Un desarrollador ha cuantizado exitosamente un modelo de IA local que lleva las capacidades de razonamiento de Claude 4.6 Opus al hardware Apple Silicon, reduciendo significativamente su huella de memoria mientras mantiene el rendimiento.
El Modelo y Su Origen
El trabajo se centra en Qwen 3.5 27B, específicamente una versión destilada de trayectorias de razonamiento de Claude 4.6 Opus. El desarrollador buscaba un modelo que pudiera "pensar" en lugar de solo autocompletar código, describiendo la firma de Opus como "deliberada, analítica, y detecta los sutiles defectos arquitectónicos que otros modelos pasan por alto". Esta versión destilada trae ese andamiaje de "pensamiento" a una arquitectura de pesos abiertos.
El Proceso de Cuantización
El modelo original era de 55.6GB en formato BF16, lo que el desarrollador señaló es un "no comienzo" para la mayoría de configuraciones locales ya que consume todo el grupo de memoria. Para abordar esto, utilizaron MLX para cuantizar el modelo para Apple Silicon, convirtiéndolo a precisión de 4 bits. El objetivo era mantener el razonamiento de alta fidelidad de Opus mientras lo hacían lo suficientemente ligero para uso diario en planificación técnica y lógica compleja.
Resultados y Rendimiento
- Huella: Reducida de 55GB a 14GB
- Velocidad: ~16 tokens/segundo en un M4 Pro
- Razonamiento: Mantiene el bloque completo <think>, permitiendo al modelo "hablar consigo mismo" para verificar lógica, simular casos límite y autocorregirse antes de presentar respuestas finales
Disponibilidad y Requisitos
El desarrollador ha subido los pesos a Hugging Face. El modelo requiere una Mac con 24GB+ de RAM para ejecutar lógica privada de alto nivel y planificación técnica completamente offline.
📖 Read the full source: r/LocalLLaMA
👀 Ver también
Un Sistema para que Claude Code Aprenda Tu Proyecto con el Tiempo
Un desarrollador creó una configuración simple para ayudar a Claude Code a retener el contexto entre sesiones mediante la adición de un archivo CLAUDE.md, una carpeta docs con convenciones del proyecto y tres prompts para inicializar, refinar y capturar patrones.
El Framework AutoAgents Rust Agrega Enlaces de Python para Prototipado
AutoAgents, un framework multiagente basado en Rust, ahora tiene enlaces para Python que permiten a los desarrolladores prototipar en Python mientras mantienen el mismo núcleo de ejecución en Rust, las interfaces de proveedores, el modelo de canalización y la semántica de agentes. Los enlaces permiten experimentar con modelos de IA locales sin sistemas externos.
Context-Kit: Herramienta de Código Abierto para la Configuración de Asistentes de IA
Context-kit es una herramienta gratuita que genera archivos de configuración y documentación de habilidades para asistentes de codificación con IA. Es compatible con Claude Code, Cursor, Windsurf, GitHub Copilot y Gemini CLI.
SIDJUA V1.0: Plataforma de Gobernanza Autohospedada para Agentes de IA
SIDJUA V1.0 es una plataforma de gobernanza autohospedada y gratuita para agentes de IA que se ejecuta en Docker, incluido Raspberry Pi. Proporciona puntos de control obligatorios para tareas de agentes, almacenamiento cifrado de credenciales, aislamiento de red y controles de presupuesto granulares.