Comprovando a Identidade do Modelo com a Tecnologia Modelwrap da Tinfoil

A Tinfoil introduziu o Modelwrap, uma solução projetada para verificar criptograficamente os pesos exatos do modelo sendo usados pelos provedores de inferência durante chamadas de API. Isso aborda um problema recorrente onde os usuários não podem confirmar se estão sendo servidos com os pesos exatos ou uma variante potencialmente quantizada.

Detalhes Principais

O sistema Modelwrap emprega vários componentes principais para atingir seu objetivo:

• Compromisso Público com os Pesos do Modelo: Isso envolve criar um hash raiz via árvores de Merkle para fornecer um método de verificação de ponto único para a integridade do modelo.
• Enclaves de Hardware Seguro: Estes são utilizados para garantir que o sistema inicialmente carregue binários verificados, com atestação verificando o estado de inicialização do sistema.
• Verificação em Tempo de Execução: Criticamente, o Modelwrap usa dm-verity, um sistema de nível de kernel do Linux que impõe a verificação dos pesos do modelo em cada operação de leitura. Isso garante que quaisquer partes dos dados buscados após a inicialização do sistema estejam em conformidade com o hash comprometido.

A combinação de árvores de Merkle e dm-verity permite que os pesos de cada modelo sejam autenticados de forma rápida e precisa. Isso tem implicações significativas para garantir que os provedores entreguem o modelo especificado a cada vez, minimizando variações de desempenho devido a alterações não divulgadas no modelo, como quantizações.

Esta ferramenta é particularmente benéfica para ambientes onde manter a integridade e consistência das saídas do modelo é crucial, como em implantações comerciais de IA ou benchmarks de pesquisa acadêmica.