오프 그리드 모바일 앱, 온디바이스 AI 도구 사용 추가 및 3배 속도 향상

온디바이스 AI 모바일 앱인 오프 그리드가 도구 사용 기능과 상당한 성능 향상을 추가하도록 업데이트되었습니다. 이 앱은 이제 AI 모델이 API 키, 서버 또는 클라우드 기능 없이도 오프라인에서 도구를 호출할 수 있게 합니다.

주요 기능 및 성능

이번 업데이트는 웹 검색, 계산기, 날짜/시간 기능, 디바이스 정보 접근을 위한 자동 도구 루프를 도입합니다. 개발자에 따르면, 이는 3B 파라미터 모델이 휴대폰에서 직접 추론하고 도구를 호출하며 결과를 종합할 수 있게 함으로써 "로컬 장난감"과 "유용한 어시스턴트" 사이의 간극을 메웁니다.

성능 향상은 구성 가능한 KV 캐시 옵션에서 비롯됩니다. 사용자는 이제 세 가지 KV 캐시 유형 중에서 선택할 수 있습니다:

• f16
• q8_0
• q4_0

q4_0 캐시를 사용하면 이전에 10 토큰/초를 생성하던 모델이 이제 30 토큰/초에 도달합니다. 이 앱은 첫 번째 생성 후 더 빠른 설정을 제안하는 성능 조정 기능을 포함합니다.

모델 지원 및 플랫폼 가용성

오프 그리드는 GGUF 형식 모델을 지원하며, 여기에는 다음이 포함됩니다:

• Qwen 3
• Llama 3.2
• Gemma 3
• Phi-4
• 기타 GGUF 호환 모델

이 앱은 이제 사이드로딩 요구 사항 없이 두 주요 앱 스토어에서 이용 가능합니다. App Store와 Google Play에서 직접 설치할 수 있습니다.

핵심 기능 및 철학

이번 업데이트에서 변경되지 않은 사항:

• MIT 라이선스 및 완전 오픈 소스
• 디바이스를 떠나는 데이터 없음 (분석, 원격 측정 또는 익명 사용 데이터 없음)
• 텍스트 생성 (15-30 토큰/초), 이미지 생성 (NPU에서 5-10초), 비전 AI, 음성 전사 및 문서 분석을 포함한 오프라인 기능

개발자는 이 프로젝트가 "당신의 주머니 속 휴대폰은 가장 감시받는 컴퓨터가 아니라 가장 사적인 컴퓨터여야 한다"는 믿음에서 비롯되었다고 밝혔습니다.