Der Aufbau eines autonomen Forschungsagents mit C# und lokalen LLMs

Hier ist ein Blick auf einen neuen autonomen Forschungsagenten, der in C# erstellt wurde und lokale LLMs nutzt, insbesondere Ollama sowie das Modell llama3.1:8b. Der Agent automatisiert den Prozess der URL-Verarbeitung, indem er Suchanfragen generiert, Websuchen über die Brave Search API durchführt und relevante Daten extrahiert, was schließlich in einem strukturierten Markdown-Bericht gipfelt.

Wichtige Details

• Der Agent akzeptiert eine Themen Eingabe, zum Beispiel "persistent memory for AI agents".
• Er formuliert autonom 5-8 Suchanfragen.
• Die Suchen werden über die Brave Search API durchgeführt, und die besten Quellen werden abgerufen und analysiert.
• Der Agent liest 8-12 Quellen und extrahiert 5-8 wichtige Ergebnisse.
• Alle Datenverarbeitung erfolgt lokal mit dem Ollama (llama3.1:8b) Modell, ohne auf OpenAI/Anthropic APIs angewiesen zu sein.
• Das Ergebnis ist ein Markdown-Bericht mit vollständigen Zitaten.

Leistung und Architektur

Die aktuelle Konfiguration läuft auf einem Ryzen 5 5500, nur mit CPU, mit 16 GB RAM und benötigt etwa 15 Minuten pro Forschungszyklus. Der Entwickler stellt fest, dass 3B-Modelle, wie llama3.2, unzureichend für Tool-Aufrufe sind, weshalb 8B ein notwendiges Minimum für zuverlässige Leistung darstellt.

Wichtige Herausforderungen umfassen die Notwendigkeit, Ergebnisse vor der Synthese zu kürzen, um zu verhindern, dass das Modell bei langen Kontexten ins Stocken gerät, sowie gelegentliche fehlerhafte Tool-Aufrufe, selbst mit 8B-Modellen, die durch erneutes Versuchen mit veränderten Eingabeaufforderungen behoben werden. Der Agent nutzt SQLite in Verbindung mit Embeddings, um den Speicher auf persönlicher Ebene zu verwalten, wodurch die Notwendigkeit einer Vektordatenbank entfällt.

Technologie-Stack

• C# / .NET 8
• Ollama
• SQLite
• Brave Search API (kostenfreies Kontingent)

Für Entwickler, die ihren eigenen Agenten erstellen möchten, gibt es ein Starter-Kit und einen 8-kapiteligen Leitfaden auf dem GitHub-Repository des Projekts, bereitgestellt unter der MIT-Lizenz, zusammen mit dem vollständigen Quellcode: hex-dynamics.