フローマップ：高速サンプリングのための拡散モデルの積分学習

フローマップは、拡散モデルのサンプリングを高速化する新しいアプローチです。接線方向を反復的に積分する代わりに、ノイズからデータまでの経路全体を一度に予測するニューラルネットワークを学習します。サンダー・ディールマンのブログ記事では、その理論と分類を解説しています。

現在の拡散サンプリングの仕組み

標準的な拡散モデルは、各ノイズレベルでの接線方向（ノイズ除去推定）を予測し、小さなステップでノイズからデータへの経路を積分します。これには多くの反復（例：DDPMでは50〜1000ステップ）が必要です。DDIMのような決定論的サンプラーはプロセスをODEとして扱いますが、それでも数値積分が必要です。

フローマップの違い

フローマップは、ノイズとデータの間の経路上の任意の点から任意の点への予測を直接学習します。一点での接線を予測する代わりに、ネットワークは積分全体（つまり、ノイズ入力と目標ノイズレベルが与えられたときの最終的なクリーンサンプル）を出力します。これにより、サンプリングを1回またはごくわずかのステップで行うことができます。

学習アプローチ

ディールマンは、Boffiらによる分類に基づいて、フローマップ学習をいくつかの戦略に分類しています：

• 一貫性モデル：ネットワーク出力が軌跡に沿ったすべてのノイズレベルで同じであることを強制（自己一貫性）。
• 直接回帰：任意のノイズレベルでノイズサンプルからクリーンデータを直接予測するようにネットワークを学習し、L2損失を最小化。
• 蒸留：事前学習済みの拡散モデルを教師として使用し、ペア（ノイズあり、クリーン）サンプルを生成し、フローマップ生徒が教師のODE積分を模倣するように学習。

選択は、ODEソルバーを通じて逆伝播するか（高コストだが正確）、避けるか（低コストだが不安定の可能性）に依存します。

実用的な考慮事項

ディールマンは、フローマップは（教師なしで）ゼロから学習可能であると指摘します。そのためには、ガウス拡散の場合の既知のノイズ-データマッピングを利用します。実際には、フローマップは以下を提供します：

• 高速サンプリング：1〜4ステップ（蒸留拡散では10〜50ステップ）。
• 報酬ベース学習：積分形式により、下流の報酬（例：画像品質指標）の直接的な勾配ベース最適化が可能。
• 制御可能性：潜在変数による条件付けが、生成経路全体が単一の関数であるためより簡単。

応用と拡張

フローマップは、画像生成（例：LCM, SDXL-Turboなどの一貫性モデル）、ビデオ、3Dデータに応用されています。記事では、より深い数学的扱いのためにLaiらによる最近のモノグラフを参照しています。