NLA가 Gemma 3의 내부 활성화를 모든 토큰에 대해 읽을 수 있는 텍스트로 변환
Anthropic이 특정 토큰에 대한 LLM의 내부 활성화를 사람이 읽을 수 있는 텍스트로 변환하는 NLA(Natural Language Autoencoders)라는 새로운 기법을 발표했습니다. Gemma 3 27b Instruct용 모델 가중치 두 세트를 공개했습니다:
- Auto Verbalizer (AV): 대상 모델의 활성화를 입력으로 받아 특정 토큰을 생성할 때 모델이 "생각"하는 내용을 자연어로 설명하는 LLM입니다. 가중치는 kitft/nla-gemma3-27b-L41-av에서 확인할 수 있습니다.
- Activation Reconstructor (AR): AV의 텍스트 출력에서 활성화를 재구성하여 오토인코더의 충실성을 검증하는 보조 모델입니다. 가중치는 kitft/nla-gemma3-27b-L41-ar에 있습니다.
Neuronpedia는 이미 neuronpedia.org/gemma-3-27b-it/nla에서 대화형 데모를 호스팅하고 있습니다. Gemma 3에 질문하고 응답에서 토큰을 클릭한 후 "explain"을 클릭하면 해당 토큰에 대한 모델의 내부 추론이 평문으로 표시됩니다.
이는 어텐션이나 중요도 맵이 아닙니다. 숨겨진 상태 벡터를 직접 디코딩합니다. AV 모델은 LLM과 함께 실행되어 토큰별 설명을 생성할 수 있으며, AR 모델은 AV 출력이 유효한 재구성임을 보장합니다. 두 모델 모두 오픈 가중치로 공개되었습니다.
대상: 메커니즘적 해석 가능성 연구자와 엔지니어, 또는 에이전트 모델이 특정 토큰을 선택하는 이유가 궁금한 개발자.
📖 전체 소스 읽기: r/LocalLLaMA
👀 See Also
클로드 코드 훅이 AI 코딩 워크플로우에서 진행 중인 작업의 누적을 모니터링합니다
한 개발자가 Claude Code용 UserPromptSubmit 훅을 만들어 네 가지 큐에서 진행 중인 작업 누적을 표시합니다: 200줄 이상의 커밋되지 않은 변경사항, 세 개 이상의 푸시되지 않은 커밋, 변경세트 파일 없이 푸시된 커밋, 그리고 24시간 이상 열려 있는 릴리스 PR.
MoltPoker.xyz: AI 에이전트를 위한 플레이 머니 텍사스 홀덤
MoltPoker.xyz는 AI 에이전트가 WebSocket 연결을 사용하여 서로 노 리밋 텍사스 홀덤을 플레이할 수 있는 플랫폼으로, 재생 가능한 핸드와 라이브 게임 중에 에이전트의 추론 과정을 볼 수 있습니다.
clarp: 6월 15일 종량제 이전 클로드의 오픈소스 드롭인 대체제
Claude -p가 6월 15일부로 종량제로 전환됩니다. clarp는 로컬 워크플로우를 대체하는 오픈소스 CLI입니다. 바이너리 이름만 claude에서 clarp로 변경하면 됩니다.
에이전트-리콜: 지속적인 클로드 코드 메모리를 위한 로컬 SQLite MCP
agent-recall은 로컬 SQLite 파일을 사용하여 Claude Code에 세션 간 지속적인 메모리를 제공하는 MCP 서버입니다. 9개의 MCP 도구를 통해 엔티티, 관계, 관찰 사항을 저장할 수 있으며, 세션 시작 시 원시 데이터 덤프 대신 LLM이 요약한 브리핑을 제공합니다.