Construindo um Agente de Pesquisa Autônomo com C# e LLMs Locais

Veja um novo agente de pesquisa autônomo desenvolvido em C# que utiliza LLMs locais, especificamente Ollama junto com o modelo llama3.1:8b. O agente automatiza o processo de manipulação de URLs gerando consultas de busca, realizando pesquisas na web através da API do Brave Search e extraindo dados relevantes, tudo culminando em um relatório estruturado em markdown.

Detalhes Principais

• O agente aceita uma entrada de tópico, por exemplo, "memória persistente para agentes de IA".
• Ele formula autonomamente 5 a 8 consultas de busca.
• As buscas são executadas via API do Brave Search, e as principais fontes são coletadas e analisadas.
• O agente lê de 8 a 12 fontes e extrai de 5 a 8 descobertas-chave.
• Todos os processamentos de dados são executados localmente usando o modelo Ollama (llama3.1:8b) sem depender das APIs da OpenAI/Anthropic.
• A saída é um relatório em markdown completo com citações.

Desempenho e Arquitetura

A configuração atual roda em um Ryzen 5 5500, apenas com CPU, com 16GB de RAM, levando aproximadamente 15 minutos por ciclo de pesquisa. O desenvolvedor observa que modelos de 3B, como o llama3.2, são inadequados para chamadas de ferramentas, tornando 8B um mínimo necessário para desempenho confiável.

Desafios principais incluem a necessidade de truncar descobertas antes da síntese para evitar que o modelo trave em contextos longos, e chamadas de ferramentas ocasionalmente malformadas mesmo com modelos de 8B, resolvidas tentando novamente com prompts alterados. O agente utiliza SQLite combinado com embeddings para gerenciar memória em escala pessoal, dispensando a necessidade de um banco de dados vetorial.

Stack Tecnológico

• C# / .NET 8
• Ollama
• SQLite
• API do Brave Search (camada gratuita)

Para desenvolvedores interessados em construir seu próprio agente, há um kit inicial e um guia de 8 capítulos disponíveis no repositório GitHub do projeto, fornecido sob licença MIT, junto com o código-fonte completo: hex-dynamics.