3B-модель Apple на устройстве как проверяющий для вывода агента OpenClaw

Каждый Mac, iPhone и iPad на ОС серии 27.x поставляется с небольшой локальной ИИ-моделью — 3 миллиарда параметров, без передачи данных вовне — и один разработчик подключил её к OpenClaw в качестве пост-генерационного проверщика. Модель работает на Apple Neural Engine (ANE) — специализированном ИИ-процессоре во всех текущих чипах серий A и M, который отделён от CPU и GPU (хотя они используют общую память), и может работать параллельно с моделью на GPU.

Почему ANE здесь важен

Суть в том, что ANE почти всё время простаивает. Локальный инференс обычно выполняется на GPU, поэтому использование ANE — это фактически бесплатные дополнительные вычисления на вашем существующем оборудовании. Для включения модели нужно активировать Apple Intelligence в Настройки → Основные. Apple предоставляет доступ к модели через стандартный API ОС, что и делает проверщик возможным без обращения к серверу.

Как работает проверщик

Настройка перехватывает вывод агента до того, как он покинет обвязку. Когда агент выдаёт факт, полученный из вызова инструмента, локальная модель сравнивает заявленный ответ агента с необработанным результатом инструмента и отмечает несоответствие — то есть конфабуляцию. По описанию автора:

• Ловит некорректные или плохие ответы до передачи
• Заставляет агента переоценить и перегенерировать ответ, что «обычно приводит к исправлению до правильного значения»
• Работает на локальной модели, поэтому не потребляет пропускную способность команды агентов
• Достаточно быстр, чтобы проверка не добавляла заметной задержки к выводу — время добавляет только неудачная проверка, так как агенту приходится перегенерировать ответ

Практические выводы

Две вещи делают этот подход достойным копирования. Во-первых, это чистый паттерн для фильтрации галлюцинаций: сравнивайте сгенерированные утверждения с эталонным выводом инструментов на уровне обвязки, а не внутри промпта. Во-вторых, он демонстрирует использование вычислений ANE для вспомогательного инференса без конкуренции с моделью на GPU, выполняющей основную генерацию. Автор ссылается на сравнение локальных моделей Apple от 9to5Mac как на справочную информацию о возможностях.

Для пользователей OpenClaw, запускающих агентов, которые связывают вызовы инструментов, локальный верификатор с низкой задержкой на иначе простаивающем кремнии — дешёвый способ поймать плохие факты до того, как они попадут в транскрипт. В источнике не приведены бенчмарки точности или задержки на проверку — это открытый вопрос, если вы хотите воспроизвести подход.