Interface de Usuário e Servidor para Autoencoders de Linguagem Natural da Anthropic no llama.cpp

Os primeiros modelos de peso aberto da Anthropic, os Autoencoders de Linguagem Natural (NLAs), são refinamentos de arquiteturas populares de peso aberto. Como não modificam a arquitetura subjacente do modelo nem o código de modelagem, a inferência com llama.cpp é direta. Um desenvolvedor empacotou todos os recursos dos NLAs — extração de ativação, explicação de ativação, reconstrução de ativação e direcionamento por edição de explicação — em um servidor llama.cpp personalizado, em conjunto com uma interface Mikupad para explicação e direcionamento de ativação no nível de token.

Principais Recursos

• Extração de ativação: Extrai ativações internas de qualquer camada do modelo base.
• Explicação de ativação: Obtém explicações legíveis para humanos das ativações extraídas.
• Reconstrução de ativação: Reconstrói ativações a partir de suas explicações.
• Direcionamento por edição de explicação: Modifica explicações e direciona a saída do modelo de acordo.

Detalhes Técnicos

O servidor é construído sobre o llama.cpp e requer o carregamento simultâneo de três modelos: o modelo base, o modelo ator e o modelo crítico. Esta é uma configuração intensiva em memória. O desenvolvedor está trabalhando em uma versão baseada em LoRA que permitiria carregar um único modelo na memória, reduzindo significativamente a pegada de memória.

A interface Mikupad fornece uma interface no nível de token para explicação e direcionamento de ativação. Você pode inspecionar quais tokens ativam determinados recursos e ajustar o comportamento do modelo editando explicações em tempo real.

Primeiros Passos

O código-fonte e as instruções de configuração estão disponíveis no Reddit. Atualmente, você precisa ter os três checkpoints do modelo NLA (base, ator, crítico) e compilar o servidor llama.cpp personalizado. A versão LoRA está por vir.