スチールマン R5: 微調整された14BモデルがAdaコード生成でClaude Opusを上回る

✍️ OpenClawRadar📅 公開日: March 13, 2026🔗 Source
スチールマン R5: 微調整された14BモデルがAdaコード生成でClaude Opusを上回る
Ad

モデルとトレーニング詳細

Steelman R5モデルは、Adaコード生成に特化して最適化されたQwen2.5-Coder-14B-Instructのファインチューニング版です。トレーニングでは、すべてのトレーニング例がgnatmake -gnat2022 -gnatwaコンパイルを通過する3,430のAda/SPARK命令ペアのデータセットを使用し、UnslothによるQLoRA 4-bitとTRL SFTTrainerを採用しました。

トレーニング設定:LoRAランク32、アルファ64、q/k/v/o/gate/up/down射影をターゲット。モデルは各ラウンドでベースから完全に再トレーニングされました(アダプター継続はR2で破滅的忘却を引き起こしました)。トレーニングは1エポック、学習率2e-5、一定スケジュールで実行され、レンタルH100でラウンドあたり約49分かかりました。合計5ラウンド(R1–R5)、R2は破棄されました。

ベンチマーク結果

カスタムAdaコンパイルベンチマーク(1,000プロンプト、初回クリーンコンパイル):

  • Steelman R5(14B):68.6%コンパイル率
  • Claude Opus 4.6:42.1%コンパイル率
  • Claude Sonnet 4.6:37.2%コンパイル率
  • Qwen2.5-Coder-14B(ベース、未調整):約35%コンパイル率
  • Claude Sonnet 4:27.5%コンパイル率

MultiPL-E HumanEval-Ada(157問題、pass@1):

  • Steelman R5:47.1% pass@1、74.5%コンパイル率
  • Qwen2.5-Coder-14B(ベース):34.4% pass@1、51.0%コンパイル率

これらは、オープンモデルにおけるHumanEvalのAda pass@1結果として初めて公開されたものです。

Ad

使用方法と入手可能性

モデルを実行するには:ollama run hf.co/the-clanker-lover/steelman-14b-ada-v0.1-GGUF

GGUF版はQ4_K_M量子化で12GB VRAMに収まります。

制限事項

  • コンパイル≠正確性:68.6%がコンパイルされますが、HumanEvalで正しい出力を生成するのは47.1%のみです
  • エラー修正能力は弱い(5.1%)- Adaコードのデバッグを期待しないでください
  • SPARK契約はコンパイルされますが、gnatproveで検証されていません
  • 合成生成されたトレーニングデータ - 人間のAda開発者がこれらの例を作成したわけではありません
  • 14Bモデルサイズのため、より大きなモデルが捕捉するものを逃す可能性があります

リソース

  • モデル:https://huggingface.co/the-clanker-lover/steelman-14b-ada-v0.1
  • GGUF:https://huggingface.co/the-clanker-lover/steelman-14b-ada-v0.1-GGUF
  • データセット:https://huggingface.co/datasets/the-clanker-lover/steelman-sft-ada

📖 Read the full source: r/LocalLLaMA

Ad

👀 See Also

MCPによりClaudeがGoogle Search Consoleデータを自動分析
Tools

MCPによりClaudeがGoogle Search Consoleデータを自動分析

新しい無料MCPがClaudeをGoogle Search Consoleに直接接続し、クエリ、ページ、クリック数、CTRなどの検索パフォーマンスデータを、手動でのCSVエクスポートなしに自然言語でクエリできるようにします。

OpenClawRadar
開発者が、Claude AIが50回を超えるルールを無視する問題に対する解決策を共有
Tools

開発者が、Claude AIが50回を超えるルールを無視する問題に対する解決策を共有

Claude Code、Cursor、Codexで共有ルールセットを使用している開発者が特定の制限に直面しました。ルール数が約50を超えると、フロントエンド中心のタスク中にClaudeがルールを黙って無視し始めたのです。この問題は、関連性の低いコンテキストが多すぎてシステムが圧倒されることに起因しているようでした。

OpenClawRadar
タンジェント:Claude会話の分岐用Chrome拡張機能
Tools

タンジェント:Claude会話の分岐用Chrome拡張機能

Claudeで会話中に場所を失うことなく、サイドスレッドを開くことができる無料のオープンソース拡張機能です。

OpenClaw Radar
X-MCP 2.0:ClaudeからのX/Twitter APIアクセスのためのMCPサーバー
Tools

X-MCP 2.0:ClaudeからのX/Twitter APIアクセスのためのMCPサーバー

X-MCP 2.0は、OAuth 2.0 PKCE認証を使用してClaude DesktopおよびClaude CodeをX/Twitter API v2に接続するMCPサーバーです。ツイートの投稿、検索、タイムラインの取得、いいね、リツイート、返信、プロフィールの閲覧など、10種類のツールを提供します。

OpenClawRadar