Interface utilisateur et serveur pour les autoencodeurs en langage naturel d'Anthropic sur llama.cpp

Les premiers modèles à poids ouverts d'Anthropic, les autoencodeurs en langage naturel (NLA), sont des versions affinées d'architectures populaires à poids ouverts. Comme ils ne modifient ni l'architecture sous-jacente du modèle ni le code de modélisation, l'inférence avec llama.cpp est simple. Un développeur a regroupé toutes les fonctionnalités des NLA — extraction d'activations, explication d'activations, reconstruction d'activations et guidage par édition d'explications — dans un serveur llama.cpp personnalisé, associé à une interface Mikupad pour l'explication et le guidage des activations au niveau des tokens.

Fonctionnalités clés

• Extraction d'activations : Extraire les activations internes de n'importe quelle couche du modèle de base.
• Explication d'activations : Obtenir des explications lisibles par l'homme pour les activations extraites.
• Reconstruction d'activations : Reconstruire les activations à partir de leurs explications.
• Guidage par édition d'explications : Modifier les explications et orienter la sortie du modèle en conséquence.

Détails techniques

Le serveur est construit sur llama.cpp et nécessite le chargement simultané de trois modèles : le modèle de base, le modèle acteur et le modèle critique. Il s'agit d'une configuration gourmande en mémoire. Le développeur travaille sur une version basée sur LoRA qui permettrait de charger un seul modèle en mémoire, réduisant ainsi considérablement l'empreinte.

L'interface Mikupad offre une interface au niveau des tokens pour l'explication et le guidage des activations. Vous pouvez inspecter quels tokens activent certaines caractéristiques et ajuster le comportement du modèle en éditant les explications en temps réel.

Pour commencer

Le code source et les instructions d'installation sont disponibles sur Reddit. Actuellement, vous devez disposer des trois points de contrôle du modèle NLA (base, acteur, critique) et compiler le serveur llama.cpp personnalisé. La version LoRA est à venir.