C# 및 로컬 LLM으로 자율 연구 에이전트 구축하기

로컬 LLM, 특히 Ollama와 llama3.1:8b 모델을 활용하여 C#으로 구축된 새로운 자율 연구 에이전트를 살펴보겠습니다. 이 에이전트는 검색 쿼리 생성, Brave Search API를 통한 웹 검색 수행, 관련 데이터 추출을 자동화하여 구조화된 마크다운 보고서로 마무리하는 URL 처리 과정을 자동화합니다.

주요 세부사항

• 에이전트는 "AI 에이전트를 위한 영구 메모리"와 같은 주제 입력을 받습니다.
• 자율적으로 5-8개의 검색 쿼리를 작성합니다.
• 검색은 Brave Search API를 통해 실행되며, 상위 소스를 가져와 분석합니다.
• 에이전트는 8-12개의 소스를 읽고 5-8개의 주요 발견점을 추출합니다.
• 모든 데이터 처리는 OpenAI/Anthropic API에 의존하지 않고 Ollama(llama3.1:8b) 모델을 사용하여 로컬에서 실행됩니다.
• 출력은 인용이 포함된 마크다운 보고서입니다.

성능 및 아키텍처

현재 설정은 Ryzen 5 5500, CPU 전용, 16GB RAM에서 실행되며, 연구 주기당 약 15분이 소요됩니다. 개발자는 llama3.2와 같은 3B 모델이 도구 호출에 부적합하여 안정적인 성능을 위해 8B가 필요한 최소 사양이라고 언급했습니다.

주요 과제로는 긴 컨텍스트에서 모델이 멈추는 것을 방지하기 위해 합성 전 발견점 단축이 필요하며, 8B 모델에서도 가끔 잘못된 도구 호출이 발생하는데, 이는 수정된 프롬프트로 재시도하여 해결했습니다. 에이전트는 개인 규모의 메모리 관리를 위해 임베딩과 함께 SQLite를 사용하여 벡터 데이터베이스의 필요성을 없앴습니다.

기술 스택

• C# / .NET 8
• Ollama
• SQLite
• Brave Search API (무료 티어)

자신만의 에이전트를 구축하려는 개발자를 위해 프로젝트의 GitHub 저장소에 MIT 라이선스로 제공되는 스타터 키트와 8장 가이드, 전체 소스 코드가 있습니다: hex-dynamics.