UI y Servidor para Autoencoders de Lenguaje Natural de Anthropic en llama.cpp

Los primeros modelos de peso abierto de Anthropic, los Autoencoders de Lenguaje Natural (NLAs), son ajustes finos de arquitecturas populares de peso abierto. Debido a que no modifican la arquitectura subyacente del modelo ni el código de modelado, la inferencia con llama.cpp es sencilla. Un desarrollador ha empaquetado todas las funciones de NLA (extracción de activaciones, explicación de activaciones, reconstrucción de activaciones y dirección mediante edición de explicaciones) en un servidor personalizado de llama.cpp, junto con una interfaz Mikupad para la explicación y dirección de activaciones a nivel de token.

Características clave

• Extracción de activaciones: Extrae activaciones internas de cualquier capa del modelo base.
• Explicación de activaciones: Obtén explicaciones legibles para humanos de las activaciones extraídas.
• Reconstrucción de activaciones: Reconstruye activaciones a partir de sus explicaciones.
• Dirección mediante edición de explicaciones: Modifica explicaciones y dirige la salida del modelo en consecuencia.

Detalles técnicos

El servidor está construido sobre llama.cpp y requiere que se carguen tres modelos simultáneamente: el modelo base, el modelo actor y el modelo crítico. Esta es una configuración intensiva en memoria. El desarrollador está trabajando en una versión basada en LoRA que permitiría cargar un solo modelo en la memoria, reduciendo significativamente el espacio requerido.

La interfaz Mikupad proporciona una interfaz a nivel de token para la explicación y dirección de activaciones. Puedes inspeccionar qué tokens activan ciertas características y ajustar el comportamiento del modelo editando explicaciones en tiempo real.

Cómo empezar

El código fuente y las instrucciones de configuración están disponibles en Reddit. Actualmente, debes tener los tres puntos de control del modelo NLA (base, actor, crítico) y compilar el servidor personalizado de llama.cpp. La versión LoRA está próxima a lanzarse.