ベンチマーク対プロダクション:AIエージェントテストは合格するが、実際のワークフローは失敗する場合

完全自動化されたスポーツ予想サービス(AIBossSports)を運営する開発者は、コスト削減を図るため、Claude Sonnet 4.6からOpenRouter経由のより安価なモデルへの切り替えを試みました。このサービスでは、AIエージェントが動画制作、品質保証、YouTube/X/TikTokへの配信、購読者へのSMS送信、分析を担当しています。
ベンチマークの設定
開発者は代替モデルをテストするためのベンチマーク評価基準を作成しました:
- 本番ファイルの読み取りと要約
- 利用可能な動画アセットの正確なリスト作成
- 複数ステップのタスクをサブエージェントに委任
- 複数ソースからの結果の統合
- 構造化された出力(JSON/レポート形式)の生成
GrokとMiniMaxの両モデルはこれらのテストを問題なく通過し、大幅なコスト削減が可能であることが示唆されました。
本番環境での失敗
本番環境に導入されると、両モデルはベンチマークでは検出されなかった方法で失敗しました:
- Grokは、出力ログでは妥当に見えるが実際には誤ったクリップパスを幻覚生成しました。動画エージェントは、チーム固有の映像ではなく一般的なストック映像のようなクリップを取得しました。幻覚生成されたパスは存在しましたが、文脈的に適切ではなかったためです。
- MiniMaxは、メール組み立て中にロゴアセットでMIMEタイプエラーを引き起こしました。メールシステムは複数回の送信で断続的に破損し、MiniMaxがファイル添付メタデータを処理する方法に起因することが追跡されました。
開発者はすべてをClaude Sonnet 4.6に戻しました。
得られた教訓
ベンチマークはモデルが「十分に賢いか」をテストしましたが、複雑な実世界の文脈における運用信頼性はテストしていませんでした。失敗はテストのギャップを明らかにしました:
- 実際の本番ディレクトリ構造(きれいなテスト用固定データではない)
- 意図的なエッジケースを含むアセット取得(欠落ファイル、曖昧な名前)
- エンドツーエンドのメール/添付ファイル検証
- 途中で失敗した場合に捕捉する必要があるマルチエージェント連鎖テスト
開発者は結論として述べています:「ベンチマークは知能をテストします。本番テストは信頼性をテストします。これらは同じものではありません。」
📖 Read the full source: r/openclaw
👀 See Also

OpenClawをプロセス複製エンジンとして:自動化開発のためのマルチエージェントワークフロー
ある開発者は、OpenClawを個人アシスタントとしてではなく「プロセス複製エンジン」として使用した方が効果的であることを発見し、アイデアからデプロイまでの複雑な開発パイプラインを自動化するマルチエージェントワークフローを構築しました。月額約80ドルで運用されています。

Claude Codeを使用してカスタムTwigテンプレートでDrupalサイトを構築する
ある開発者が、従来のDrupalテーマ作成をバイパスし、カスタムTwigテンプレートと生のHTMLを使用してDrupalウェブサイトを作成するためにClaude Codeを利用した経験を共有しました。彼らはローカル開発にddevを使用し、コンテンツタイプ、ビュー、タクソノミーを設定するための特定のコマンドを実行しました。

OpenClawエージェントは、寸法仕様からCADモデルとSTLファイルを生成します。
あるユーザーが、OpenClawエージェントが寸法仕様からSTLファイルとSCADファイルを作成できることを発見しました。これにより、要求された正確な寸法を持つ機能的な3Dモデルが約20秒で生成されます。

OpenClawユーザーがAIエージェントでデートアプリのやり取りを自動化
Redditユーザーが、デートアプリでのスワイプ、会話管理、マッチングフィルタリングを処理するOpenClawエージェントを構築し、1日500回以上のスワイプと、1週間で3倍のマッチ数を報告しました。