NLA가 Gemma 3의 내부 활성화를 모든 토큰에 대해 읽을 수 있는 텍스트로 변환

Anthropic이 특정 토큰에 대한 LLM의 내부 활성화를 사람이 읽을 수 있는 텍스트로 변환하는 NLA(Natural Language Autoencoders)라는 새로운 기법을 발표했습니다. Gemma 3 27b Instruct용 모델 가중치 두 세트를 공개했습니다:

• Auto Verbalizer (AV): 대상 모델의 활성화를 입력으로 받아 특정 토큰을 생성할 때 모델이 "생각"하는 내용을 자연어로 설명하는 LLM입니다. 가중치는 kitft/nla-gemma3-27b-L41-av에서 확인할 수 있습니다.
• Activation Reconstructor (AR): AV의 텍스트 출력에서 활성화를 재구성하여 오토인코더의 충실성을 검증하는 보조 모델입니다. 가중치는 kitft/nla-gemma3-27b-L41-ar에 있습니다.

Neuronpedia는 이미 neuronpedia.org/gemma-3-27b-it/nla에서 대화형 데모를 호스팅하고 있습니다. Gemma 3에 질문하고 응답에서 토큰을 클릭한 후 "explain"을 클릭하면 해당 토큰에 대한 모델의 내부 추론이 평문으로 표시됩니다.

이는 어텐션이나 중요도 맵이 아닙니다. 숨겨진 상태 벡터를 직접 디코딩합니다. AV 모델은 LLM과 함께 실행되어 토큰별 설명을 생성할 수 있으며, AR 모델은 AV 출력이 유효한 재구성임을 보장합니다. 두 모델 모두 오픈 가중치로 공개되었습니다.

대상: 메커니즘적 해석 가능성 연구자와 엔지니어, 또는 에이전트 모델이 특정 토큰을 선택하는 이유가 궁금한 개발자.