ClawCut: Un Proxy en Python que Hace que los Pequeños LLM Locales Sean Usables con OpenClaw

Qué hace ClawCut

ClawCut es una aplicación Python Flask que actúa como proxy entre servidores locales de LLM (como MLX u Ollama) y el framework OpenClaw. Fue creada para resolver problemas técnicos específicos que dificultan el uso práctico de modelos locales pequeños (7B/14B) como asistentes con OpenClaw.

Problemas clave resueltos

• Envenenamiento de contexto: Los modelos pequeños pierden el rastro del uso de herramientas cuando ven sus propias llamadas antiguas en el historial del chat
• Bucles infinitos: Los modelos se atascan repitiendo patrones en lugar de ejecutar comandos
• Problemas de salida: Los modelos muestran código bash como texto plano en el chat o se bloquean con su propio historial después de múltiples comandos
• Fallos en trabajos cron: Los trabajos programados en segundo plano generan respuestas que desaparecen porque no hay ventana de chat activa abierta
• Artefactos de LLM: Bloques de markdown vacíos, etiquetas XML internas y comillas invertidas sueltas ensucian las salidas
• Rechazo de carga de medios: Los modelos a veces se niegan a subir archivos generados

Cómo funciona

Amnesia dinámica para llamadas a herramientas: Durante el chat normal, se conserva el historial. Cuando el proxy detecta que el modelo intenta usar una herramienta del sistema, corta temporalmente el historial antiguo del chat, dando al modelo "visión de túnel" para ejecutar comandos de shell limpiamente sin bucles ni alucinaciones.

Entrega automática universal para trabajos cron: El proxy monitorea el flujo del modelo e intercepta respuestas de texto limpias al final de los procesos de pensamiento. Luego fuerza la entrega mediante llamadas automáticas a herramientas de WhatsApp, Telegram o Signal, haciendo que los trabajos cron informen proactivamente a tu teléfono.

Filtrado de artefactos: Los bloques de markdown vacíos, etiquetas XML internas y comillas invertidas sueltas se filtran antes de llegar al frontend.

Manipulación de nombres de herramientas: Manipulaciones simples del flujo evitan que los modelos se nieguen a subir archivos de medios generados.

Configuración probada

• Raspberry Pi 5 (8GB) con OpenClaw 3.8
• Mac mini M4 Pro 24GB con MLX-LLM ejecutando Qwen2.5-Coder-7B-Instruct-4bit
• Máquina Windows con Ollama y modelo Qwen 2.5 Coder 14B (planeada para integración con ClawCut)

Limitaciones

ClawCut no convierte modelos de 7B en GPT-4. Las cadenas de lógica altamente complejas y de múltiples pasos siguen siendo desafiantes para modelos pequeños. El proxy aborda específicamente obstáculos técnicos que antes los hacían casi inutilizables como asistentes cotidianos.