ステップ3.5フラッシュの探求：高速深層推論のためのオープンソースモデル

Step 3.5 Flashは、高速かつ信頼性の高い深層推論能力を提供することに焦点を当てたオープンソースの基盤モデルです。スパースなMixture of Experts（MoE）アーキテクチャを採用し、トークンごとに1960億パラメータのうち110億パラメータのみを活性化します。この選択的な活性化により高い「知能密度」を実現し、トップクラスの独自モデルと競争できる性能を維持しながら、リアルタイムのインタラクションにも俊敏に対応できます。

深層推論と速度

このモデルは3方向マルチトークン予測（MTP-3）を組み込んでおり、1秒あたり100から300トークンを処理し、シングルストリームのコーディングタスクでは最大350トークンに達します。これは、迅速な応答性を伴う複雑な多段階推論に理想的です。

コーディングとエージェントタスクでの性能

Step 3.5 Flashは、継続的な自己改善を保証するスケーラブルな強化学習フレームワークによってサポートされたエージェントタスクで優れた性能を発揮します。SWE-bench Verifiedベンチマークで74.4%、Terminal-Bench 2.0で51.0%のスコアを達成し、洗練された長期的タスクを処理する能力を示しています。

効率的な長文脈処理

3:1のスライディングウィンドウアテンション（SWA）比率を使用して、大規模な256Kの文脈ウィンドウをサポートし、各フルアテンションレイヤーに対して3つのSWAレイヤーを統合しています。この方法は、従来の長文脈モデルと比較して計算オーバーヘッドを大幅に削減します。

ローカル展開とアクセシビリティ

簡単なローカル展開を想定して設計されたStep 3.5 Flashは、Mac Studio M4 MaxやNVIDIA DGX Sparkなどの高性能コンシューマーハードウェア上で安全に実行でき、性能を損なうことなくデータのプライバシーを確保します。