NLA transforma las activaciones internas de Gemma 3 en texto legible para cualquier token

Anthropic ha publicado una nueva técnica llamada Natural Language Autoencoders (NLA) que traduce las activaciones internas de un LLM a texto legible para cualquier token específico. Han lanzado dos conjuntos de pesos de modelo para Gemma 3 27b Instruct:

• Auto Verbalizer (AV): Un LLM que traduce las activaciones del modelo objetivo a una explicación en lenguaje natural de lo que el modelo "piensa" al generar un token particular. Pesos disponibles en kitft/nla-gemma3-27b-L41-av.
• Reconstructor de Activaciones (AR): Un modelo complementario que reconstruye las activaciones a partir de la salida de texto del AV, verificando que el autoencoder sea fiel. Pesos en kitft/nla-gemma3-27b-L41-ar.

Neuronpedia ya aloja un demo interactivo en neuronpedia.org/gemma-3-27b-it/nla. Le haces una pregunta a Gemma 3, haces clic en cualquier token de la respuesta, luego haces clic en "explicar" para ver el razonamiento interno del modelo para ese token traducido a texto plano.

Esto no se trata de mapas de atención o de saliencia — decodifica directamente los vectores de estado oculto. El modelo AV puede ejecutarse junto a tu LLM y producir explicaciones por token, mientras que el modelo AR asegura que la salida del AV sea una reconstrucción válida. Ambos se publican bajo pesos abiertos.

Para quién es: Investigadores e ingenieros que trabajan en interpretabilidad mecanicista, o desarrolladores curiosos sobre por qué el modelo de su agente elige tokens específicos.