Interface utilisateur et serveur pour les autoencodeurs en langage naturel d'Anthropic sur llama.cpp

✍️ OpenClawRadar📅 Publié: May 13, 2026🔗 Source
Ad

Les premiers modèles à poids ouverts d'Anthropic, les autoencodeurs en langage naturel (NLA), sont des versions affinées d'architectures populaires à poids ouverts. Comme ils ne modifient ni l'architecture sous-jacente du modèle ni le code de modélisation, l'inférence avec llama.cpp est simple. Un développeur a regroupé toutes les fonctionnalités des NLA — extraction d'activations, explication d'activations, reconstruction d'activations et guidage par édition d'explications — dans un serveur llama.cpp personnalisé, associé à une interface Mikupad pour l'explication et le guidage des activations au niveau des tokens.

Fonctionnalités clés

  • Extraction d'activations : Extraire les activations internes de n'importe quelle couche du modèle de base.
  • Explication d'activations : Obtenir des explications lisibles par l'homme pour les activations extraites.
  • Reconstruction d'activations : Reconstruire les activations à partir de leurs explications.
  • Guidage par édition d'explications : Modifier les explications et orienter la sortie du modèle en conséquence.
Ad

Détails techniques

Le serveur est construit sur llama.cpp et nécessite le chargement simultané de trois modèles : le modèle de base, le modèle acteur et le modèle critique. Il s'agit d'une configuration gourmande en mémoire. Le développeur travaille sur une version basée sur LoRA qui permettrait de charger un seul modèle en mémoire, réduisant ainsi considérablement l'empreinte.

L'interface Mikupad offre une interface au niveau des tokens pour l'explication et le guidage des activations. Vous pouvez inspecter quels tokens activent certaines caractéristiques et ajuster le comportement du modèle en éditant les explications en temps réel.

Pour commencer

Le code source et les instructions d'installation sont disponibles sur Reddit. Actuellement, vous devez disposer des trois points de contrôle du modèle NLA (base, acteur, critique) et compiler le serveur llama.cpp personnalisé. La version LoRA est à venir.

📖 Lire la source complète : r/LocalLLaMA

Ad

👀 See Also

nan-forget : Mémoire de codage IA locale dans un seul fichier SQLite
Tools

nan-forget : Mémoire de codage IA locale dans un seul fichier SQLite

nan-forget est un outil de mémoire pour les agents d'IA de codage qui stocke le contexte dans un seul fichier SQLite (~3 Mo) sans services en arrière-plan. Il utilise un pipeline de récupération en 3 étapes et fonctionne avec Claude Code, Cursor et le terminal via CLI.

OpenClawRadar
WAYD : Une pause sociale de 60 secondes dans Claude Code, Cursor, et Copilot CLI
Tools

WAYD : Une pause sociale de 60 secondes dans Claude Code, Cursor, et Copilot CLI

WAYD est un plugin pour Claude Code, Cursor et Copilot CLI qui permet de poster une ligne d'humeur sur votre journée de code sous des mood-tags et de défiler un fil de réactions d'autres développeurs — le tout depuis votre terminal, propulsé par GitHub Issues.

OpenClawRadar
Envoyer les agents OpenClaw comme participants à une réunion avec voix, chat et partage d'écran
Tools

Envoyer les agents OpenClaw comme participants à une réunion avec voix, chat et partage d'écran

Une nouvelle compétence permet aux agents OpenClaw de participer à Google Meet, Teams et Zoom avec voix (STT/TTS), chat, avatar vidéo et partage d'écran.

OpenClawRadar
ClaudeHive : Interface Web pour Gérer des Sessions de Code Claude en Parallèle
Tools

ClaudeHive : Interface Web pour Gérer des Sessions de Code Claude en Parallèle

ClaudeHive est une interface web qui gère des sessions parallèles de Claude Code, permettant aux utilisateurs de définir des modèles de prompts avec des espaces réservés, de les exécuter par lots sur plusieurs entrées avec une concurrence configurable, et de consulter tous les résultats en un seul endroit. Il inclut un outil CLI pour que les agents gestionnaires puissent créer et coordonner des agents travailleurs.

OpenClawRadar