Beweis der Modellidentität mit der Modellverpackungstechnologie von Tinfoil

Tinfoil hat Modelwrap eingeführt, eine Lösung, die entwickelt wurde, um die genauen Modellgewichte, die von Inferenzanbietern während API-Aufrufen verwendet werden, kryptografisch zu verifizieren. Dies behebt ein wiederkehrendes Problem, bei dem Benutzer nicht bestätigen können, ob ihnen die genauen Gewichte oder eine potenziell quantisierte Variante bereitgestellt wird.

Wichtige Details

Das Modelwrap-System verwendet mehrere Kernkomponenten, um sein Ziel zu erreichen:

• Öffentliche Verpflichtung zu Modellgewichten: Dies beinhaltet die Erstellung eines Root-Hashes über Merkle-Bäume, um eine Verifizierungsmethode für die Integrität des Modells an einem zentralen Punkt bereitzustellen.
• Sichere Hardware-Enklaven: Diese werden eingesetzt, um sicherzustellen, dass das System zunächst verifiziertes Binärmaterial lädt, wobei eine Attestation den Startzustand des Systems überprüft.
• Laufzeitüberprüfung: Kritisch ist, dass Modelwrap dm-verity verwendet, ein System auf Kernel-Ebene von Linux, das die Überprüfung der Modellgewichte bei jeder Leseoperation durchsetzt. Dies stellt sicher, dass alle Daten, die nach dem Booten des Systems abgerufen werden, dem verpflichteten Hash entsprechen.

Die Kombination aus Merkle-Bäumen und dm-verity ermöglicht es, die Gewichte jedes Modells schnell und genau zu authentifizieren. Dies hat erhebliche Auswirkungen darauf, dass Anbieter jedes Mal das angegebene Modell liefern und Leistungsschwankungen aufgrund nicht offengelegter Modelländerungen, wie Quantisierungen, minimiert werden.

Dieses Tool ist besonders vorteilhaft für Umgebungen, in denen die Integrität und Konsistenz der Modellausgaben entscheidend ist, wie zum Beispiel bei kommerziellen KI-Einsätzen oder akademischen Forschungsbenchmarks.