Lecciones Prácticas de la Construcción de un Agente de IA Compañero Local Permanente

Configuración y Arquitectura

Un desarrollador ha estado ejecutando un agente de IA autohospedado en una Mac mini M4 durante varios meses. La configuración utiliza un entorno de ejecución Rust con qwen2.5:14b en Ollama para inferencia local rápida. El sistema implementa una escalera de modelos que escala a modelos en la nube cuando las tareas requieren más capacidad. La memoria se maneja con SQLite e incrustaciones locales usando nomic-embed-text para recuperación semántica entre sesiones. El agente funciona 24/7 mediante launchd y realiza diversas tareas, incluyendo monitorear un bot de trading, revisar correo electrónico, desplegar sitios web y delegar trabajo de implementación pesado a Claude Code a través de un ejecutor de tareas.

Lecciones Clave Aprendidas

La arquitectura de memoria lo es todo: El desarrollador descubrió que la recuperación híbrida que combina búsqueda por palabras clave BM25 con similitud vectorial, ponderada y fusionada, fue un avance decisivo. Un modelo de 14B con buena recuperación de memoria supera a un modelo de 70B que comienza cada conversación desde cero.

El impuesto del prompt del sistema es real: Los archivos de identidad iniciales comenzaron con ~10K tokens, pero se redujeron a ~2,800 tokens eliminando cualquier cosa que el agente pudiera buscar bajo demanda. La regla: si el agente necesita algo ocasionalmente, ponlo en la memoria; si lo necesita en cada mensaje, ponlo en el prompt del sistema.

Las incrustaciones locales cambiaron la economía: Usar nomic-embed-text en Ollama junto con el modelo de conversación hace que cada operación de almacenamiento y recuperación de memoria sea gratuita, eliminando costos que antes se acumulaban por solicitudes de incrustación de OpenAI.

La escalera de modelos importa más que el modelo predeterminado: El agente usa por defecto qwen local para conversación (gratis, rápido) pero puede escalar a Minimax, Kimi, Haiku, Sonnet u Opus dependiendo de los requisitos de la tarea. La idea clave: permitir que los humanos cambien modelos manualmente con comandos como /model sonnet para tareas de razonamiento y /model qwen para chatear, en lugar de intentar detectarlo automáticamente.

Los límites de iteración de herramientas necesitan margen: Comenzar con 10 llamadas máximas de herramientas por mensaje resultó insuficiente. Las tareas simples consumen 3-5 llamadas de herramientas, mientras que las tareas complejas necesitan 15-20. La configuración actual usa 25 llamadas de herramientas con un límite de tasa de 200 acciones/hora como red de seguridad.

El error más difícil fue la memoria entre sesiones: Los recuerdos almacenados explícitamente a través de una herramienta de almacenamiento inicialmente no tenían session_id, y las consultas de recuperación se filtraban por el session_id actual. Esto hacía que los hechos memorizados deliberadamente fueran invisibles en sesiones futuras. La solución fue agregar OR session_id IS NULL a la consulta SQL.