EvalShift: モデル移行中のLLM回帰検出のためのオープンソースCLI
EvalShiftは、LLMやモデルバージョン間の切り替え時に回帰を検出するためのオープンソースPython CLIです。ゴールデン入力スイートをソースモデルとターゲットモデルの両方に対して実行し、出力を評価して、ローカルHTMLレポートを生成します。バックエンドやアカウント、テレメトリは不要です。
主な機能
- LiteLLMによるソースモデルとターゲットモデルの比較
- タグ/スライス付きJSONLゴールデンスイート
- 構造的評価: JSONスキーマ、正規表現、長さ
- 意味的評価: 埋め込み類似度
- LLM-as-judgeによるペアワイズ評価
- ツール呼び出し評価: ツール選択、引数マッチング、トレース構造
- ペア統計検定: t検定 / Wilcoxon
- 効果量: Cohen's d
- 多重比較補正: Benjamini-Hochberg
- スライスレベルの内訳
- ローカルキャッシュによるコスト制御
- 再開可能な実行
- 単一ファイルHTMLレポート + JSON出力
このプロジェクトの狭い目標は移行の安全性です。「プロンプトやエージェントの動作を壊さずにモデルを切り替えられるか？」著者は、静かなエージェント回帰（例えば、新しいモデルが一見妥当な最終回答を生成するが、必要なツール呼び出しをスキップしたり、間違ったツールを呼び出したり、引数を変更したりする）を捕捉することを重視しています。
ユースケース
- Claude 4.5 → Claude 5
- GPT-5 → GPT-6
- Gemini 2 → 3
- ローカルモデル → ホストモデル
著者は、ローカルモデルとホストモデルのどちらに役立つか、ローカルLLMワークフローで最も重要な評価タイプ、ツール呼び出し/構造化出力の回帰が実際に問題となるかについてフィードバックを求めています。リポジトリはMITライセンスです。
📖 ソース全文を読む: r/LocalLLaMA
👀 See Also
ターミナルベースの3Dレンダラー - マルチエージェントClaudeコードシステムで構築
開発者がtortuiseを作成しました。これは、UnicodeとASCII記号を使用してガウススプラットを表示する、純粋なターミナルベースの3Dレンダラーです。Claude Codeセットアップを通じて、サブエージェント内にさらにサブエージェントを持つ70〜80のAIエージェントを調整し、3日間で構築されました。
インディー開発者がClaude CodeでSteam APIデータ層を含むゲームスタジオサイト全体を展開
インディーゲーム開発者がClaude Codeを使用して、端末に触れることなくゲームスタジオのウェブサイトを構築・デプロイしました。Steam APIからライブ情報を取得するデータレイヤーも含まれています。
Cowork vs. Claude Chat: 文書抽出精度の比較
ある開発者が、140ページ以上の財務PDFからデータを抽出するために、同一のプロンプトを使用してClaude.aiチャットとCoworkをテストしました。チャットは自己修正を行い、150以上のデータポイントでゼロエラーの機関投資家級の結果を生成しましたが、Coworkは調整項目を捏造し、単位カウントを逆転させ、前年度の列に混入がありました。
SourceBridge：ローカルLLMを使用したコードベース分析のためのオープンソースツール
SourceBridgeは、Gitリポジトリをシンボルグラフにインデックス化し、ローカルLLMを使用してコードベースの要約、アーキテクチャの解説、学習教材を生成するオープンソースツールです。Ollama、llama.cpp、vLLM、LM Studio、SGLangなど、OpenAI互換APIを介した複数のローカルバックエンドをサポートしています。