개발자, 애플 인텔리전스로 온디바이스 클립보드 작업 테스트

r/LocalLLaMA의 한 개발자가 온디바이스 AI 작업을 테스트하기 위해 Apple Intelligence의 Foundation Models 프레임워크를 사용해 클립보드 매니저를 구축한 경험을 공유했습니다.

배경과 동기

이 개발자는 로컬 모델과 최첨단 모델 간의 격차로 인해 중요한 작업에는 OpenRouter나 Anthropic과 같은 클라우드 서비스를 기본으로 사용하지만, 일회성 작업에 모든 데이터를 제3자 API로 전송하는 것을 좋아하지 않는다고 말합니다. 그들은 "이것을 요약해줘", "이 메시지를 재작성해줘", "이 댓글을 검토해줘"와 같은 작업에는 작은 온디바이스 모델이 이상적이라고 봅니다.

구현과 발견 사항

• Apple Intelligence의 Foundation Models 프레임워크를 중심으로 클립보드 매니저 구축
• 초기 인상: "일상적인" 주력 작업에 합리적
• 짧은 요약과 재작성에는 괜찮음
• 예상대로 모호한 언어와 세부적인 작업에서는 한계를 보임

개발자의 질문

이 개발자는 Apple Intelligence 채택에 대해 몇 가지 질문을 제기합니다:

• 왜 Apple이 Apple Intelligence에서 진정한 가치를 끌어내는 데 진전이 없는 것처럼 느껴질까요?
• 실제로 의미 있는 방식으로 Apple AI를 활용하는 앱이 매우 적은 건가요?
• Apple Intelligence 채택이 증가하고 있는지, 아니면 조용히 정체되고 있는지에 대한 실제 감을 가진 사람이 있나요?

이 개발자는 자신이 본 대부분의 예시가 Apple 자체의 미완성 기능들이며, 온디바이스 모델은 이미 존재하고 어느 정도 능력이 있다고 언급합니다.