Интерфейс и сервер для автоэнкодеров естественного языка Anthropic на llama.cpp

✍️ OpenClawRadar📅 Опубликовано: 13 мая 2026 г.🔗 Source
Ad

Первые модели с открытым весом от Anthropic — Natural Language Autoencoders (NLA) — представляют собой дообучения популярных архитектур с открытым весом. Поскольку они не изменяют базовую архитектуру модели или код моделирования, инференс с llama.cpp не представляет сложности. Разработчик упаковал все функции NLA — извлечение активаций, объяснение активаций, реконструкцию активаций и управление через редактирование объяснений — в пользовательский сервер llama.cpp, объединённый с интерфейсом Mikupad для объяснения и управления активациями на уровне токенов.

Ключевые особенности

  • Извлечение активаций: Извлечение внутренних активаций из любого слоя базовой модели.
  • Объяснение активаций: Получение читаемых человеком объяснений для извлечённых активаций.
  • Реконструкция активаций: Восстановление активаций из их объяснений.
  • Управление через редактирование объяснений: Изменение объяснений и соответствующее управление выводом модели.
Ad

Технические детали

Сервер построен на основе llama.cpp и требует одновременной загрузки трёх моделей: базовой модели, модели актора и модели критика. Это ресурсоёмкая конфигурация. Разработчик работает над версией на основе LoRA, которая позволит загружать одну модель в память, значительно снизив потребление ресурсов.

Интерфейс Mikupad предоставляет интерфейс на уровне токенов для объяснения и управления активациями. Вы можете просматривать, какие токены активируют определённые признаки, и корректировать поведение модели, редактируя объяснения в реальном времени.

Начало работы

Исходный код и инструкции по настройке доступны на Reddit. В настоящее время необходимо иметь три контрольные точки модели NLA (базовая, актор, критик) и скомпилировать пользовательский сервер llama.cpp. Версия на LoRA ожидается в ближайшее время.

📖 Читать полный источник: r/LocalLLaMA

Ad

👀 Смотрите также

BotCost.dev: Бесплатный анализатор для оценки затрат на ИИ-ботов для вашего сайта
Инструменты

BotCost.dev: Бесплатный анализатор для оценки затрат на ИИ-ботов для вашего сайта

BotCost.dev — это бесплатный инструмент, который анализирует ваши серверные логи на основе 18 известных сигнатур AI-ботов (GPTBot, ClaudeBot, Perplexity и др.) и оценивает ежемесячную стоимость трафика — без загрузки, всё работает в браузере.

OpenClawRadar
Приложение Claude Desktop добавляет функцию проектов в интерфейс совместной работы.
Инструменты

Приложение Claude Desktop добавляет функцию проектов в интерфейс совместной работы.

В настольном приложении Claude теперь доступна функция «Проекты» в интерфейсе Cowork, позволяющая пользователям организовывать задачи и контекст в выделенных рабочих пространствах. Файлы и инструкции остаются на локальном компьютере пользователя, с возможностью импортировать существующие проекты или создавать новые.

OpenClawRadar
Skynet: Сеть МногоАгентного Взаимодействия для Кодовых Агентов Claude
Инструменты

Skynet: Сеть МногоАгентного Взаимодействия для Кодовых Агентов Claude

Skynet — это открытая сеть, которая обеспечивает ролевое взаимодействие между несколькими агентами Claude Code и людьми. Она устанавливается как навык с помощью npx и управляется через естественно-языковые команды.

OpenClawRadar
McPherson AI выпускает два новых навыка для операций в сфере быстрого питания на платформе ClawHub: диагностику стоимости продуктов и аудит утечек рабочего времени.
Инструменты

McPherson AI выпускает два новых навыка для операций в сфере быстрого питания на платформе ClawHub: диагностику стоимости продуктов и аудит утечек рабочего времени.

На ClawHub опубликованы два новых бесплатных навыка: qsr-food-cost-diagnostic еженедельно выявляет проблемы с себестоимостью с помощью четырёхуровневой диагностики, а qsr-labor-leak-auditor обеспечивает ежедневный контроль рабочего времени с оповещениями в середине недели для предотвращения перерасхода.

OpenClawRadar