PolyRange: LLM生成ターゲットによる耐汚染性攻撃的AIベンチマーク

PolyRange v1.0は、MITライセンスの自己ホスト型ベンチマークで、Webセキュリティエージェント向けの汚染耐性を持つ攻撃型AIベンチマークです。トレーニングデータに漏れる静的ターゲットではなく、各PolyRangeデプロイは研究者が選択したLLMによって新たに生成され、OpenAI、Anthropic、UK AISIが公に求めた「新しく構築されたタスク」の基準を満たしています。
PolyRangeが解決する課題
著者であるAether AIのCEOは、既存のサイバーAIベンチマークには研究室が必要とするものを測定しない2つのタイプがあると指摘しています:CTFスタイル(DVWA、NYU CTF Bench、CyberGym、AutoPenBench)は静的ターゲットを使用するため将来のモデルを汚染し、バグバウンティスタイル(XBOW)は防御インフラが未定義です。PolyRangeは、アクティブな防御者を含む本番環境に近い条件でこのギャップを埋めます。
技術仕様
- 84のWSTG由来クラス:全12のOWASPテストガイドカテゴリにわたる
- 2段階の防御層:アクティブ防御環境を近似
- 実際のバックエンド:Postgres方言、LFI用の実PHP、コマンドインジェクション用の実シェル、SSTI用の実Jinja2
- エージェントがフラグを送信するオラクル規約:スコアリング用
- 単一コマンドの評価CLI
- 自己ホスト可能:Fly.ioまたは任意のDockerホスト上で
ターゲットはLLM(研究者が選択した生成モデル)によって実行ごとに再生成されるため、静的アーティファクトは存在せず、将来のモデルが取り込むことはありません。これにより、Anthropicが「このレポート自体が問題に寄与する可能性が高い」と懸念した点に対処しています。
このベンチマークは、2バケットのエントロピーフレームワークを使用し、エクスプロイト想起軸と外観/リアリズム軸を分離しており、著者はこれが類似のベンチマーク文献で過度に混同されていると考えています。
完全な実証論文(公表可能なN数を含む)の資金はパートナーシップ資金に依存していますが、フレームワークは現在利用可能です。
📖 ソース全文: r/LocalLLaMA
👀 See Also

OpenClawのセキュリティギャップが、エージェンティック・パワー・オブ・アトーニー(APOA)仕様によって対処されました。
開発者が、OpenClawにおけるセキュリティ上の懸念に対処するため、Agentic Power of Attorney (APOA) と呼ばれるオープン仕様を公開しました。現在、エージェントはメールやカレンダーなどのサービスに、自然言語の指示のみをガードレールとしてアクセスしています。この仕様では、サービスごとの権限、時間制限付きアクセス、監査証跡、権限の取り消し、資格情報の分離を提案しています。

ClawVault Security Enhancement Adds Sensitive Data Detection for OpenClaw
A new enhancement to ClawVault adds real-time sensitive data detection and automatic sanitization for OpenClaw API traffic, intercepting plaintext passwords, API keys, and tokens before they reach LLM providers.

ClawGuard:OpenClaw API認証情報保護のためのオープンソースセキュリティゲートウェイ
ClawGuardは、AIエージェントと外部APIの間に位置するセキュリティゲートウェイで、エージェントマシンではダミーの認証情報を使用し、実際のトークンは別途保存します。機密性の高い呼び出しにはTelegramによる承認を提供し、リクエストの監査証跡を維持します。

FreeBSDカーネルのkgssapi.koにおけるスタックバッファオーバーフローによるRCE(CVE-2026-4747)
FreeBSDのkgssapi.koモジュールにおけるスタックバッファオーバーフローにより、NFSサーバー経由でリモートからカーネルRCEを実行し、rootシェルを取得可能です。この脆弱性は、特定のパッチが適用されていないFreeBSD 13.5、14.3、14.4、15.0に影響します。