Construyendo un Agente de Investigación Autónomo con C# y LLMs Locales

A continuación, se presenta un nuevo agente de investigación autónomo construido en C# que utiliza LLM locales, específicamente Ollama junto con el modelo llama3.1:8b. El agente automatiza el proceso de manejo de URL generando consultas de búsqueda, realizando búsquedas web a través de la API de Brave Search y extrayendo datos relevantes, todo culminando en un informe estructurado en markdown.

Detalles Clave

• El agente acepta una entrada de tema, por ejemplo, "memoria persistente para agentes de IA".
• Formula de manera autónoma entre 5 y 8 consultas de búsqueda.
• Las búsquedas se ejecutan a través de la API de Brave Search, y se obtienen y analizan las principales fuentes.
• El agente revisa entre 8 y 12 fuentes y extrae de 5 a 8 hallazgos clave.
• Todo el procesamiento de datos se ejecuta localmente utilizando el modelo Ollama (llama3.1:8b) sin depender de las API de OpenAI/Anthropic.
• La salida es un informe en markdown completo con citas.

Rendimiento y Arquitectura

La configuración actual funciona en un Ryzen 5 5500, solo CPU, con 16GB de RAM, tomando aproximadamente 15 minutos por ciclo de investigación. El desarrollador señala que los modelos de 3B, como llama3.2, son inadecuados para llamadas a herramientas, haciendo que 8B sea un mínimo necesario para un rendimiento confiable.

Los desafíos clave incluyen la necesidad de truncar hallazgos antes de la síntesis para evitar que el modelo se detenga en contextos largos, y llamadas a herramientas ocasionalmente mal formadas incluso con modelos de 8B, que se resuelven volviendo a intentar con mensajes alterados. El agente utiliza SQLite emparejado con embeddings para gestionar la memoria a una escala personal, lo que elimina la necesidad de una base de datos vectorial.

Pila Tecnológica

• C# / .NET 8
• Ollama
• SQLite
• API de Brave Search (nivel gratuito)

Para los desarrolladores interesados en construir su propio agente, hay un kit de inicio y una guía de 8 capítulos disponibles en el repositorio de GitHub del proyecto, proporcionados bajo la licencia MIT, junto con el código fuente completo: hex-dynamics.