llm-circuit-finderツールキットは、David NgのRYS手法を実装・拡張し、トランスフォーマーモデル内部に隠れた『推論回路』を発見・活用します。中核となる発見：特定の連続した層ブロックが分割不可能な認知単位として機能します。フォワードパスでこれらのブロックを複製する（同じ重み、学習なし、統合なし）ことで、モデルの特定能力が測定可能なほど向上します。

主な結果

Devstral-Small-2-24B（12、13、14層を1回複製）：

• BBH論理的推論：0.22 → 0.76（+245%）
• GSM8K（厳密）：0.48 → 0.64（+33%）
• MBPP（コード生成）：0.72 → 0.78（+8%）
• 全指標の平均改善：+8%（悪化なし）

Qwen2.5-Coder-32B（7、8、9層を1回複製）：

• 推論プローブ（因果＋論理＋ナビゲーション）：76.5% → 94.1%（+23%）

仕組み

トランスフォーマーは学習中に機能的回路（完全な認知操作を実行する多層処理単位）を自己組織化します。これらの回路は分割不可能です：単一層を複製してもほとんど効果はありませんが、適切な3〜4層のブロックを複製すると、モデルは推論パイプラインを2回通過することになります。

モデルによって回路の位置は異なります：

• Devstral-24B（40層）：12〜14層に推論回路
• Qwen2.5-32B（64層）：7〜9層に推論回路

境界は明確です。ブロックをどちらかの方向に1層ずらすと、改善効果は消失または逆転します。

異なる複製パターンが異なるモードを生成

ディスク上の重みは同じ、ベースモデルのVRAMも同じ、ルーティングのみ異なります：

• ダブルパス13-16：数学↑↑、EQ↑
• トリプルパス13-16：数学↑、EQ↑↑
• インターリーブ13,13,14,14,15,15,16：数学↑↑↑、EQ↓（純粋数学モード）
• クアドラプルパス13-16：数学―、EQ↑↑（EQモード、数学中立）

クイックスタート

モデル内の回路を発見：

pip install gguf requests tqdm
python sweep.py \
  --model /path/to/model.gguf \
  --llama-server /path/to/llama-server \
  --tmpdir /dev/shm/rys \
  --results pass.jsonl \
  --block-sizes 3 4 5 \
  --stride 1 \
  --start-min 10 --start-max 20 \
  --skip-baseline \
  --port 8099 \
  --server-args --device Vulkan1,Vulkan2

既知の回路を適用：

# Devstralの12-14層を複製
python layer_path.py model.gguf improved.gguf \
  -p " 0..14,12,13,14,15..39 " -v

Qwen2.5-32Bの7-9層を複製
python layer_path.py model.gguf improved.gguf 
  -p " 0..9,7,8,9,10..63 " -v
トリプルパスの例
python layer_path.py model.gguf experiment.gguf 
  -p " 0..16,13,14,15,16,13,14,15,16,17..39 " -v

確立されたベンチマークで検証：

# 修正モデルでサーバー起動
llama-server -m improved.gguf --port 8089 -ngl 99 --device Vulkan1,Vulkan2
# lm-evaluation-harnessを実行

発見プロセス全体（スイープ、発見、検証）は、2つのAMDコンシューマーGPU（RX 7900 XT + RX 6950 XT）で一晩で完了しました。