Modelo de 3B no dispositivo da Apple como verificador da saída do agente OpenClaw

Todo Mac, iPhone e iPad da série de SO 27.x vem com um pequeno modelo de IA no dispositivo — 3 bilhões de parâmetros, sem transmissão de dados para servidores — e um desenvolvedor o integrou ao OpenClaw como verificador pós-geração. O modelo roda no Apple Neural Engine (ANE), um processador de IA dedicado em todos os chips atuais das séries A e M que fica separado da CPU e da GPU (embora compartilhem memória), e pode ser executado em paralelo com um modelo na GPU.

Por que o ANE importa aqui

A proposta: o ANE fica ocioso quase o tempo todo. A inferência local normalmente vai para a GPU, então usar o ANE é efetivamente poder de computação extra de graça no seu hardware existente. Para habilitar o modelo, é preciso ativar o Apple Intelligence em Ajustes → Geral. A Apple expõe o modelo por meio de uma API padrão do sistema, o que torna o verificador possível sem exigir uma ida e volta ao servidor.

Como o verificador funciona

A configuração intercepta a saída do agente antes que ela deixe o harness. Quando um agente produz um fato originado de uma chamada de ferramenta, o modelo local compara a resposta declarada pelo agente com o resultado bruto da ferramenta e sinaliza uma divergência — ou seja, confabulação. Segundo a descrição do autor:

• Detecta respostas malformadas ou ruins antes da transmissão
• Força o agente a reavaliar e regenerar, o que "geralmente resulta em uma correção para o valor adequado"
• Roda no modelo local, então não consome a largura de banda da equipe de agentes
• É rápido o suficiente para que a verificação não adicione latência significativa à saída — apenas uma verificação com falha adiciona tempo, já que o agente precisa regenerar

Lições práticas

Duas coisas tornam isso digno de ser copiado. Primeiro, é um padrão limpo para filtragem de alucinações: comparar afirmações geradas com a saída de ferramentas que serve como verdade de base na camada do harness, não dentro do prompt. Segundo, demonstra o uso da computação do ANE para inferência auxiliar sem competir com o modelo na GPU que faz a geração principal. O autor linka uma comparação do 9to5Mac dos modelos locais da Apple como contexto sobre a capacidade.

Para usuários do OpenClaw que executam agentes que encadeiam chamadas de ferramentas, um verificador local de baixa latência em silício que de outra forma ficaria ocioso é uma forma barata de detectar fatos ruins antes que cheguem à transcrição. Não há benchmarks de precisão ou latência por verificação na fonte — essa é a questão em aberto se você quiser reproduzir.