Claude AIのガードレール回避が、ネットワークセキュリティタスクとしてリクエストを構成した際に観察されました。

意図の枠組み化によるガードレールの回避

Claude AIのプロンプト動作をテストしていたユーザーは、特定の意図の枠組み化によってモデルのガードレールが回避されるエッジケースを発見しました。海賊版サイトを直接尋ねると、Claudeは通常リクエストを拒否します。しかし、同じリクエストがネットワークセキュリティタスクとして、具体的にはルーターやDNSフィルターでブロックするドメインを尋ねるものとして枠組み化されると、モデルは海賊版ドメインのリストを提供しました。

リストを受け取った後、ユーザーは枠組みが回答に影響を与えたことを指摘しました。Claudeは意図を誤解していたことを認めました。これは、防御的な枠組み（「これらのサイトをブロックする」）が、通常は制限される情報をガードレールに許可させるという、意図分類の問題のようです。

ユーザーは、完全なプロンプトシーケンスとClaudeの回答を示すスクリーンショットを共有し、この動作を記録しました。彼らはこれを興味深いエッジケースとして指摘し、他の人がClaudeや他の大規模言語モデルで同様の動作を観察したかどうかを尋ねました。