Apfel의 기능

Apfel은 Apple Silicon Mac의 macOS 26(Tahoe)와 함께 제공되는 Apple의 LLM에 직접 접근할 수 있는 무료 도구입니다. Apple은 일반적으로 이 모델을 Siri와 시스템 기능으로 제한하지만, Apfel은 세 가지 인터페이스를 통해 이를 노출합니다: UNIX 명령줄 도구, OpenAI 호환 HTTP 서버, 대화형 채팅.

기술적 세부사항

이 도구는 Swift 6.3으로 구축되었으며 Apple의 FoundationModels 프레임워크, 특히 LanguageModelSession API를 래핑합니다. 모든 추론은 Neural Engine과 GPU에서 실행됩니다 - 네트워크 호출, 클라우드 없이, 기기 외부로 아무것도 전송되지 않습니다.

소스의 주요 사양:

• 버전: v0.6.13
• 요구사항: macOS 26+(Tahoe), Apple Silicon, Apple Intelligence 활성화
• 컨텍스트 창: 4,096 토큰(입력 및 출력 합산)
• 라이선스: MIT
• 설치: brew install Arthur-Ficial/tap/apfel

세 가지 사용 모드

1. CLI 도구

stdin/stdout 지원, JSON 출력, 파일 첨부, 적절한 종료 코드를 갖춘 파이프 친화적 UNIX 도구:

$ apfel "오스트리아의 수도는 어디인가요?"
오스트리아의 수도는 비엔나입니다.

$ apfel -o json "독일어로 번역: hello" | jq .content
"Hallo"

2. OpenAI 호환 서버

localhost:11434에서 작동하는 모든 OpenAI SDK와 호환되는 드롭인 대체 서버:

$ apfel --serve
서버가 http://127.0.0.1:11434에서 실행 중입니다

모든 OpenAI 클라이언트가 작동합니다
$ curl localhost:11434/v1/chat/completions

스트리밍(SSE), 도구 호출, CORS, 응답 형식, temperature, max_tokens, seed 매개변수를 지원합니다.

3. 대화형 채팅

자동 컨텍스트 관리와 다섯 가지 트리밍 전략을 갖춘 다중 턴 대화:

$ apfel --chat -s "당신은 코딩 어시스턴트입니다"
채팅이 시작되었습니다. 종료하려면 /quit를 입력하세요.
> Python에서 리스트를 어떻게 뒤집나요?

Apfel이 Apple의 원시 API에 추가하는 기능

• 셸 스크립팅을 위한 적절한 종료 코드
• JSON 출력 형식
• 파일 첨부 지원
• 4,096 토큰 창을 위한 다섯 가지 컨텍스트 트리밍 전략
• SDK를 통한 실제 토큰 카운팅
• OpenAI 도구 스키마를 Apple의 기본 Transcript.ToolDefinition 형식으로 변환

포함된 강력한 도구들

demo/ 폴더에는 여러 셸 스크립트가 포함되어 있습니다:

• cmd: 자연어를 셸 명령어로 변환
• oneliner: 일반 영어에서 파이프 체인 생성
• mac-narrator: 자연 다큐멘터리처럼 시스템 활동 설명
• explain: 명령어, 오류 메시지, 코드 조각 설명
• wtd: 모든 코드베이스에 대한 즉각적인 프로젝트 오리엔테이션
• gitsum: 최근 git 커밋 요약

대상 사용자

Swift 애플리케이션을 작성하거나 클라우드 API 호출 비용을 지불하지 않고 Apple의 온디바이스 LLM을 실험하고 싶은 개발자.