Создание автономного исследовательского агента с помощью C# и локальных LLM.

Вот обзор нового автономного исследовательского агента, созданного на C#, который использует локальные LLM, а именно Ollama и модель llama3.1:8b. Агент автоматизирует процесс обработки URL, генерируя поисковые запросы, проводя веб-поиск через API Brave Search и извлекая соответствующие данные, что culminates в структурированном markdown отчете.

Ключевые детали

• Агент принимает входную тему, например, "постоянная память для AI агентов".
• Он автономно формирует 5-8 поисковых запросов.
• Поиски выполняются через API Brave Search, после чего извлекаются и анализируются лучшие источники.
• Агент просматривает 8-12 источников и выделяет 5-8 ключевых находок.
• Вся обработка данных выполняется локально с использованием модели Ollama (llama3.1:8b) без зависимости от API OpenAI/Anthropic.
• Результатом является markdown отчет с цитированием.

Производительность и архитектура

Текущая настройка работает на Ryzen 5 5500, только с процессором, с 16 ГБ ОЗУ, затрачивая примерно 15 минут на один исследовательский цикл. Разработчик отмечает, что 3B модели, такие как llama3.2, недостаточны для вызова инструментов, что делает 8B необходимым минимумом для надежной работы.

Ключевые проблемы включают необходимость сокращения находок перед синтезом, чтобы предотвратить зависание модели на длинных контекстах, а также периодические неисправности вызовов инструментов, даже с 8B моделями, которые решаются путем повторного вызова с измененными подсказками. Агент использует SQLite в сочетании с встраиваниями для управления памятью на личном уровне, устраняя необходимость в векторной базе данных.

Технологический стек

• C# / .NET 8
• Ollama
• SQLite
• API Brave Search (бесплатный тариф)

Для разработчиков, заинтересованных в создании собственного агента, доступен стартовый набор и 8-главное руководство в репозитории проекта на GitHub, предоставленное под лицензией MIT, а также полный исходный код: hex-dynamics.