애플의 온디바이스 3B 모델, OpenClaw 에이전트 출력 검사기로 활용

27.x OS 시리즈를 실행하는 모든 Mac, iPhone, iPad에는 30억 파라미터 규모의 작은 온디바이스 AI 모델이 탑재되어 있으며, 데이터를 외부로 전송하지 않는다. 한 개발자가 이 모델을 OpenClaw에 생성 후 검사기로 연결했다. 이 모델은 현재 모든 A 시리즈 및 M 시리즈 칩에 들어 있는 전용 AI 프로세서인 애플 뉴럴 엔진(ANE)에서 실행되며, ANE는 CPU 및 GPU와 별도로 존재하지만(메모리는 공유) GPU 모델과 병렬로 실행될 수 있다.

여기서 ANE가 중요한 이유

핵심은 ANE가 거의 항상 유휴 상태라는 점이다. 일반적으로 로컬 추론은 GPU에서 이루어지므로, ANE를 활용하는 것은 기존 하드웨어에서 사실상 무료로 추가 연산을 하는 셈이다. 이 모델을 활성화하려면 설정 → 일반에서 Apple Intelligence를 켜야 한다. 애플은 표준 OS API를 통해 모델을 제공하며, 덕분에 서버 왕복 없이도 검사기를 구현할 수 있다.

검사기 작동 방식

이 설정은 에이전트 출력이 하네스를 떠나기 전에 가로챈다. 에이전트가 도구 호출에서 가져온 사실을 생성하면, 로컬 모델이 에이전트가 제시한 답변을 원시 도구 결과와 비교해 불일치, 즉 허위 생성을 표시한다. 작성자의 설명에 따르면:

• 전송 전에 잘못되거나 나쁜 답변을 잡아낸다
• 에이전트가 재평가하고 다시 생성하도록 강제하며, 이는 "보통 올바른 값으로 수정"된다
• 로컬 모델에서 실행되므로 에이전트 팀의 대역폭을 소모하지 않는다
• 검사가 출력에 의미 있는 지연을 추가하지 않을 만큼 빠르다. 검사에 실패하면 에이전트가 다시 생성해야 하므로 그때만 시간이 추가된다

실용적 시사점

이 접근을 따라 해볼 만한 두 가지 이유가 있다. 첫째, 환각 필터링을 위한 깔끔한 패턴이다. 생성된 주장을 프롬프트 내부가 아니라 하네스 계층에서 실제 도구 출력과 비교한다. 둘째, 주 생성을 담당하는 GPU 모델과 경쟁하지 않고 보조 추론에 ANE 연산을 활용하는 방법을 보여준다. 작성자는 배경 설명으로 애플 로컬 모델의 성능을 다룬 9to5Mac 비교 기사를 링크했다.

도구 호출을 연쇄적으로 수행하는 에이전트를 운영하는 OpenClaw 사용자에게, 그 외에는 유휴 상태인 실리콘에서 돌아가는 저지연 로컬 검증기는 나쁜 사실이 대화록에 기록되기 전에 잡아내는 저렴한 방법이다. 원문에는 정확도나 검사당 지연 시간에 대한 벤치마크가 제시되지 않았다. 재현하려는 경우 이 부분이 미해결 질문이다.