GLM 5 en Mac M3: Observaciones de Rendimiento para Codificación Agéntica
Puntos de Referencia de Rendimiento y Limitaciones
Un desarrollador probó GLM 5 utilizando cuantización de 4 bits de MLX en un Mac M3 con 512 GB de RAM para tareas de programación agéntica. Se describe el modelo como "bastante utilizable" cuando el contexto se mantiene por debajo de aproximadamente 50,000 tokens, aunque significativamente más lento que soluciones basadas en API como Claude, particularmente durante el procesamiento de prompts.
El rendimiento se degrada sustancialmente cuando el contexto supera los 50k tokens. En una prueba procesando 65k tokens, la primera mitad se completó en 8 minutos (67 tokens/segundo), mientras que la segunda mitad tomó 18 minutos adicionales, resultando en una tasa general de 41 tokens/segundo. La generación de tokens sigue siendo más rápida, estimada en 12-20 tokens/segundo en tamaños de contexto grandes.
Observaciones del Flujo de Trabajo
El usuario señala que Opencode (el sistema de programación agéntica) maneja la generación de código en múltiples archivos de manera eficiente una vez que se crea un plan, produciendo "miles de tokens de código a través de múltiples archivos en solo unos minutos con razonamiento intermedio". El procesamiento de prompts típicamente toma "un par de minutos" para leer unos cientos de líneas de código por archivo, con un total de unos 10 minutos distribuidos entre sesiones de planificación.
La compactación en Opencode "sí toma un tiempo, ya que básicamente le gusta reprocesar todo el contexto". Con un límite de contexto de 50k tokens, la compactación toma aproximadamente 5 minutos.
Configuración Técnica y Expectativas Futuras
La prueba se realizó utilizando LM Studio, que puede no proporcionar las últimas optimizaciones de tiempo de ejecución. El usuario sugiere que "MLX o incluso GGUF podrían obtener un procesamiento de prompts más rápido a medida que se actualicen los tiempos de ejecución para GLM 5, pero probablemente no será MUCHO más rápido que esto".
No se recomienda esta configuración para tareas que requieran 70k+ tokens en contexto, debido tanto a las limitaciones de tamaño de contexto como a la "lentitud insoportable" que ocurre después de superar ciertos umbrales durante el procesamiento de prompts.
📖 Read the full source: r/LocalLLaMA
👀 Ver también
PACT: Un Marco de Gobernanza Programática para el Código Claude Después de Patrones de Falla del Agente
Un desarrollador creó PACT (Programmatic Agent Constraint Toolkit) después de tres meses de fallos recurrentes de Claude Code en una aplicación móvil de más de 350 archivos. El marco reemplaza reglas inaplicables con restricciones mecánicas que bloquean físicamente las violaciones mediante ganchos previos al uso de herramientas.
VibeIndex.ai: Centro de búsqueda para más de 90K habilidades de IA, MCPs y complementos con escaneo de seguridad
Un investigador coreano de IA ha creado vibeindex.ai, un centro de búsqueda que indexa más de 90,000 habilidades de IA, servidores MCP y complementos con actualizaciones cada hora y escaneo de seguridad utilizando Cisco Skill Scanner en 17 categorías de amenazas.
El complemento MCP de caché de prompts reduce automáticamente los costos de la API de Claude al identificar contextos estables.
El complemento MCP de caché de prompts identifica automáticamente partes estables del contexto, como prompts del sistema y definiciones de herramientas, luego las marca para la función de caché de Anthropic para reducir los costos de API en un 80-92% en sesiones de codificación.
Bot de Telegram para el Control CLI de Código Claude desde el Móvil
Un desarrollador creó un bot de Telegram que se conecta a la CLI de Claude Code, permitiendo control mediante comandos móviles como /commit, /code_review y /simplify. El bot descubre automáticamente habilidades personalizadas, procesa fotos/documentos/notas de voz y admite sesiones de chat grupal.