Интерфейс и сервер для автоэнкодеров естественного языка Anthropic на llama.cpp

Первые модели с открытым весом от Anthropic — Natural Language Autoencoders (NLA) — представляют собой дообучения популярных архитектур с открытым весом. Поскольку они не изменяют базовую архитектуру модели или код моделирования, инференс с llama.cpp не представляет сложности. Разработчик упаковал все функции NLA — извлечение активаций, объяснение активаций, реконструкцию активаций и управление через редактирование объяснений — в пользовательский сервер llama.cpp, объединённый с интерфейсом Mikupad для объяснения и управления активациями на уровне токенов.

Ключевые особенности

• Извлечение активаций: Извлечение внутренних активаций из любого слоя базовой модели.
• Объяснение активаций: Получение читаемых человеком объяснений для извлечённых активаций.
• Реконструкция активаций: Восстановление активаций из их объяснений.
• Управление через редактирование объяснений: Изменение объяснений и соответствующее управление выводом модели.

Технические детали

Сервер построен на основе llama.cpp и требует одновременной загрузки трёх моделей: базовой модели, модели актора и модели критика. Это ресурсоёмкая конфигурация. Разработчик работает над версией на основе LoRA, которая позволит загружать одну модель в память, значительно снизив потребление ресурсов.

Интерфейс Mikupad предоставляет интерфейс на уровне токенов для объяснения и управления активациями. Вы можете просматривать, какие токены активируют определённые признаки, и корректировать поведение модели, редактируя объяснения в реальном времени.

Начало работы

Исходный код и инструкции по настройке доступны на Reddit. В настоящее время необходимо иметь три контрольные точки модели NLA (базовая, актор, критик) и скомпилировать пользовательский сервер llama.cpp. Версия на LoRA ожидается в ближайшее время.