Prouver l'identité du modèle avec la technologie Modelwrap de Tinfoil

Tinfoil a introduit Modelwrap, une solution conçue pour vérifier cryptographiquement les poids de modèle exacts utilisés par les fournisseurs d'inférence lors des appels API. Cela répond à un problème récurrent où les utilisateurs ne peuvent pas confirmer s'ils reçoivent les poids exacts ou une variante potentiellement quantifiée.

Détails clés

Le système Modelwrap utilise plusieurs composants principaux pour atteindre son objectif :

• Engagement public sur les poids de modèle : Cela implique de créer une racine de hachage via des arbres de Merkle pour fournir une méthode de vérification en un seul point de l'intégrité du modèle.
• Enclaves matérielles sécurisées : Elles sont utilisées pour garantir que le système charge initialement des binaires vérifiés, avec une attestation vérifiant l'état de lancement du système.
• Vérification en temps d'exécution : De manière critique, Modelwrap utilise dm-verity, un système au niveau du noyau Linux qui impose la vérification des poids de modèle à chaque opération de lecture. Cela garantit que toutes les données récupérées après le démarrage du système sont conformes au hachage engagé.

La combinaison des arbres de Merkle et de dm-verity permet d'authentifier rapidement et précisément les poids de chaque modèle. Cela a des implications significatives pour garantir que les fournisseurs livrent le modèle spécifié à chaque fois, minimisant les variations de performance dues à des modifications de modèle non divulguées, comme les quantifications.

Cet outil est particulièrement bénéfique pour les environnements où maintenir l'intégrité et la cohérence des sorties de modèle est crucial, comme dans les déploiements d'IA commerciaux ou les benchmarks de recherche académique.