Anthropicの自然言語オートエンコーダーのためのUIとサーバー（llama.cpp版）

Anthropic社初のオープンウェイトモデルであるNatural Language Autoencoders（NLA）は、人気のあるオープンウェイトアーキテクチャのファインチューン版です。基礎となるモデルアーキテクチャやモデリングコードを変更しないため、llama.cppでの推論は簡単です。開発者が、活性化抽出、活性化説明、活性化再構築、説明編集によるステアリングといったNLAの全機能をカスタムllama.cppサーバーに統合し、トークンレベルでの活性化説明とステアリングのためのMikupad UIと組み合わせました。

主な機能

• 活性化抽出: ベースモデルの任意の層から内部活性化を抽出します。
• 活性化説明: 抽出された活性化に対して人間が読める説明を取得します。
• 活性化再構築: 説明から活性化を再構築します。
• 説明編集によるステアリング: 説明を編集し、それに応じてモデルの出力を制御します。

技術詳細

このサーバーはllama.cpp上に構築されており、ベースモデル、アクターモデル、クリティックモデルの3つのモデルを同時に読み込む必要があります。これはメモリを多く消費するセットアップです。開発者は、LoRAベースのバージョンに取り組んでおり、単一のモデルをメモリに読み込むことでフットプリントを大幅に削減できるようにしています。

Mikupad UIは、活性化説明とステアリングのためのトークンレベルのインターフェースを提供します。どのトークンが特定の特徴を活性化するかを検査し、リアルタイムで説明を編集することでモデルの動作を調整できます。

はじめに

ソースコードとセットアップ手順はRedditで入手できます。現在、3つのNLAモデルチェックポイント（ベース、アクター、クリティック）を用意し、カスタムllama.cppサーバーをコンパイルする必要があります。LoRAバージョンは近日公開予定です。