エージェンシックAIの失敗モードと発達的足場

エージェンシックAIの失敗モード

エージェンシックAIシステムは、現在のベンチマークでは捉えられない方法で本番環境で失敗しています。具体的な失敗モードには以下が含まれます：

• アライメントからの逸脱
• ハンドオフ間でのコンテキストの喪失
• 調整せずにセンシティブな領域に突入する
• 調整が崩壊した際に機能不全に陥る

ソースは、AI開発を子供の発達に例え、構造は制約ではなく発達の前提条件であると主張しています。アクションループを駆動する大規模言語モデルは、印象的な生の能力を持っていますが、本質的なガードレールは限られており、失敗はしばしば解釈不能な確率分布の中に埋もれています。

発達的足場かけの構成要素

ソースは、信頼性の高いエージェンシックAIシステムを構築するための5つの構成要素を提案しています：

一貫性監視

これはエージェント間のアライメントを継続的に追跡し、個々のエージェント監視では捉えられない劣化パターンを特定します。例としては：

• サプライチェーンワークフロー内の2つのエージェントが、個別には合理的だが矛盾するタイムライン見積もりを生成する
• 顧客対応エージェントの信頼度が、上流から受け取った情報から乖離する

これらのパターンは、個々のエージェント内ではなく、エージェント間の関係層で見ることができます。

調整修復

一貫性監視が問題を検知した場合、現在のアーキテクチャでは通常、ワークフローを継続するか停止するかの二択しかありません。足場かけされたシステムでは：

• アライメントのずれの特定のポイントを分離する
• 解釈が分岐した場所を表面化する
• 対立を解決する
• 修正を再起動せずにライブワークフローに再統合する

ことが可能です。

同意と境界認識

これは、適切な調整なしにセンシティブな領域に踏み込む問題に対処します。ワークフローが倫理的複雑性、規制リスク、または重大な結果を伴う領域に入った場合、足場かけされたシステムは：

• 一時停止して境界条件を評価する
• より厳しいパラメータで継続するか、完全なコンテキストと共に人間に決定を提示する

これにより、撤退ではなく注意深いナビゲーションを可能にする境界知性が生まれます。

関係の継続性

これは、エージェントのハンドオフで発生するコールドスタート問題を解決します。重要な決定、制約、コミットメントの共有記録が移行を超えて持続しない場合、各ハンドオフは制度的知識が蒸発する新たなスタートとなります。関係の継続性は共有のバックボーンを維持し、すべてのエージェントがセッション履歴だけでなくシステム理解にアクセスできるようにします。

適応的ガバナンス

このメタ層は、システムの健全性に基づいて介入の強度をリアルタイムで調整します。静的なガバナンスルールはパラドックスを生み出します：危機的状況に十分厳しいルールは安定した運用を過剰管理し、スムーズなワークフローに十分緩いルールは実際の危機時に無力になります。適応的ガバナンスは、負荷が増加した際に監視の閾値を引き締め、フィードバックサイクルを短縮し、一貫性が高くワークフローが安定している時には軽いタッチで動作します。