Anthropic의 llama.cpp 기반 자연어 오토인코더를 위한 UI 및 서버

Anthropic의 첫 오픈 가중치 모델인 Natural Language Autoencoder(NLA)는 널리 사용되는 오픈 가중치 아키텍처의 파인튠입니다. 기본 모델 아키텍처나 모델링 코드를 수정하지 않기 때문에 llama.cpp를 사용한 추론은 간단합니다. 한 개발자가 NLA의 모든 기능(활성화 추출, 활성화 설명, 활성화 재구성, 설명 편집 기반 조종)을 맞춤형 llama.cpp 서버에 통합하고, Mikupad UI를 통해 토큰 수준의 활성화 설명 및 조종을 제공합니다.

주요 기능

• 활성화 추출: 기본 모델의 임의 레이어에서 내부 활성화를 추출합니다.
• 활성화 설명: 추출된 활성화에 대해 사람이 읽을 수 있는 설명을 얻습니다.
• 활성화 재구성: 설명에서 활성화를 재구성합니다.
• 설명 편집 기반 조종: 설명을 수정하고 그에 따라 모델 출력을 조종합니다.

기술 세부 사항

서버는 llama.cpp 위에 구축되었으며, 기본 모델, 행위자 모델, 비평가 모델의 세 가지 모델을 동시에 로드해야 합니다. 이는 메모리 집약적인 설정입니다. 개발자는 LoRA 기반 버전을 작업 중이며, 단일 모델을 메모리에 로드하여 메모리 사용량을 크게 줄일 수 있습니다.

Mikupad UI는 활성화 설명 및 조종을 위한 토큰 수준 인터페이스를 제공합니다. 어떤 토큰이 특정 기능을 활성화하는지 검사하고, 실시간으로 설명을 편집하여 모델 동작을 조정할 수 있습니다.

시작하기

소스 코드와 설정 방법은 Reddit에서 확인할 수 있습니다. 현재 세 가지 NLA 모델 체크포인트(기본, 행위자, 비평가)를 보유하고 맞춤형 llama.cpp 서버를 컴파일해야 합니다. LoRA 버전은 곧 제공될 예정입니다.