Flusskarten: Lernen des Integrals eines Diffusionsmodells für schnellere Stichproben

Flow Maps sind ein neuer Ansatz zur Beschleunigung der Stichprobenerstellung bei Diffusionsmodellen, indem neuronale Netze darauf trainiert werden, den gesamten Pfad vom Rauschen zu den Daten auf einmal vorherzusagen, anstatt iterativ Tangentenrichtungen zu integrieren. Sander Dielemans Blogbeitrag erläutert die Theorie und Taxonomie.

Wie Diffusions-Stichprobenerstellung heute funktioniert

Standard-Diffusionsmodelle sagen die Tangentenrichtung (die entrauschte Schätzung) auf jeder Rauschstufe voraus und machen kleine Schritte, um den Pfad vom Rauschen zu den Daten zu integrieren. Dies erfordert viele Iterationen (z. B. 50–1000 Schritte bei DDPM). Deterministische Stichprobenersteller wie DDIM behandeln den Prozess als ODE, benötigen aber dennoch numerische Integration.

Was Flow Maps anders machen

Eine Flow Map lernt, jeden Punkt auf dem Pfad zwischen Rauschen und Daten von jedem anderen Punkt auf demselben Pfad direkt vorherzusagen. Anstatt die Tangente an einem Punkt vorherzusagen, gibt das Netzwerk das gesamte Integral aus – die endgültige saubere Stichprobe bei einer verrauschten Eingabe und einer Ziel-Rauschstufe. Das bedeutet, dass die Stichprobenerstellung in einem oder sehr wenigen Schritten erfolgen kann.

Trainingsansätze

Dieleman kategorisiert das Training von Flow Maps in mehrere Strategien basierend auf der Taxonomie von Boffi et al.:

• Konsistenzmodelle: Erzwingen, dass die Netzwerkausgabe für alle Rauschstufen entlang einer Trajektorie gleich ist (Selbstkonsistenz).
• Direkte Regression: Trainiert das Netzwerk, die sauberen Daten direkt aus einer verrauschten Stichprobe auf jeder Rauschstufe vorherzusagen, wobei der L2-Verlust zu den Ground-Truth-Daten minimiert wird.
• Destillation: Verwendet ein vortrainiertes Diffusionsmodell als Lehrer, um gepaarte (verrauschte, saubere) Stichproben zu erzeugen, und trainiert dann einen Flow-Map-Schüler, das ODE-Integral des Lehrers nachzuahmen.

Die Wahl hängt davon ab, ob man durch den ODE-Löser zurückpropagieren möchte (teuer, aber genau) oder dies vermeiden will (günstiger, aber potenziell weniger stabil).

Praktische Überlegungen

Dieleman bemerkt, dass Flow Maps von Grund auf (ohne Lehrer) trainiert werden können, indem die bekannte Rausch-zu-Daten-Abbildung im Fall der Gaußschen Diffusion genutzt wird. In der Praxis bieten Flow Maps:

• Schnellere Stichprobenerstellung: 1–4 Schritte (vs. 10–50 für destillierte Diffusion).
• Belohnungsbasiertes Lernen: Die Integral-Formulierung ermöglicht eine direkte gradientenbasierte Optimierung von nachgelagerten Belohnungen (z. B. Bildqualitätsmetriken).
• Steuerbarkeit: Die Konditionierung auf latente Variablen wird einfacher, da der gesamte Generierungspfad eine einzige Funktion ist.

Anwendungen und Erweiterungen

Flow Maps werden auf die Bilderzeugung (z. B. Konsistenzmodelle wie LCM, SDXL-Turbo), Video und 3D-Daten angewendet. Der Beitrag verweist auf eine aktuelle Monographie von Lai et al. für eine tiefere mathematische Behandlung.