C#とローカルLLMで自律型研究エージェントを構築する方法

これは、ローカルLLM、具体的にはOllamaとllama3.1:8bモデルを活用してC#で構築された新しい自律型研究エージェントの概要です。このエージェントは、検索クエリの生成、Brave Search APIを介したウェブ検索の実行、関連データの抽出といったURL処理プロセスを自動化し、最終的に構造化されたマークダウンレポートを作成します。

主な詳細

エージェントは、例えば「AIエージェントのための永続メモリ」といったトピック入力を受け付けます。
自律的に5〜8個の検索クエリを生成します。
Brave Search APIを介して検索を実行し、上位の情報源を取得して分析します。
エージェントは8〜12の情報源を読み込み、5〜8個の主要な発見を抽出します。
すべてのデータ処理は、OpenAI/Anthropic APIに依存せず、Ollama（llama3.1:8b）モデルを使用してローカルで実行されます。
出力は引用付きの完全なマークダウンレポートです。

性能とアーキテクチャ

現在のセットアップは、Ryzen 5 5500、CPUのみ、16GB RAMで動作し、1回の研究サイクルに約15分かかります。開発者は、llama3.2などの3Bモデルはツール呼び出しに不十分であり、信頼性のある性能には8Bが最低限必要であると指摘しています。

主な課題には、長いコンテキストでモデルが停止するのを防ぐために合成前に発見を切り詰める必要性、および8Bモデルでも時折発生する不正なツール呼び出し（プロンプトを変更して再試行することで解決）が含まれます。エージェントは、個人規模でのメモリ管理に埋め込みと組み合わせたSQLiteを利用し、ベクトルデータベースの必要性を排除しています。