Création d'un Agent de Recherche Autonome avec C# et des LLM Locaux

Voici un aperçu d'un nouvel agent de recherche autonome développé en C# utilisant des LLM locaux, spécifiquement Ollama avec le modèle llama3.1:8b. L'agent automatise le processus de gestion d'URL en générant des requêtes de recherche, effectuant des recherches web via l'API Brave Search, et extrayant des données pertinentes, le tout aboutissant à un rapport structuré en markdown.

Détails clés

• L'agent accepte une entrée de sujet, par exemple, "mémoire persistante pour agents IA".
• Il formule de manière autonome 5 à 8 requêtes de recherche.
• Les recherches sont exécutées via l'API Brave Search, et les principales sources sont récupérées et analysées.
• L'agent parcourt 8 à 12 sources et extrait 5 à 8 découvertes clés.
• Tout le traitement des données est exécuté localement en utilisant le modèle Ollama (llama3.1:8b) sans dépendre des API OpenAI/Anthropic.
• Le résultat est un rapport en markdown complet avec citations.

Performances et architecture

La configuration actuelle fonctionne sur un Ryzen 5 5500, uniquement sur CPU, avec 16 Go de RAM, prenant environ 15 minutes par cycle de recherche. Le développeur note que les modèles 3B, comme llama3.2, sont inadéquats pour l'appel d'outils, rendant ainsi 8B un minimum nécessaire pour des performances fiables.

Les principaux défis incluent la nécessité de tronquer les découvertes avant la synthèse pour éviter que le modèle ne bloque sur des contextes trop longs, et des appels d'outils mal formés occasionnels même avec les modèles 8B, résolus en réessayant avec des invites modifiées. L'agent utilise SQLite couplé à des embeddings pour gérer la mémoire à une échelle personnelle, éliminant le besoin d'une base de données vectorielle.

Pile technologique

• C# / .NET 8
• Ollama
• SQLite
• API Brave Search (niveau gratuit)

Pour les développeurs intéressés par la création de leur propre agent, il existe un kit de démarrage et un guide de 8 chapitres disponibles sur le dépôt GitHub du projet, fournis sous licence MIT, ainsi que le code source complet : hex-dynamics.