Gemma4 26B-A4B는 웹 검색 및 이미지 지원으로 빠른 로컬 성능을 제공합니다.
Gemma4 26B-A4B 성능 및 기능
gemma-4-26B-A4B 모델은 로컬 사용에 강력한 성능을 보여주며, 출처에 따르면 RTX 4090 GPU에서 실행 시 초당 약 145 토큰의 속도를 보고합니다. 이러한 능력과 속도의 조합은 반응성이 좋은 로컬 애플리케이션에 적합합니다.
출처의 주요 기능
- 모델: gemma-4-26B-A4B
- 성능: RTX 4090에서 ~145 t/s (초당 토큰)
- 통합: 웹 검색 MCP (모델 컨텍스트 프로토콜) 지원
- 멀티모달: 이미지 지원 포함
- 플랫폼: Mac 및 iPhone 사용을 위한 설정 문서화
출처에서는 간단한 트릭과 짧은 시스템 프롬프트로 경험을 개선할 수 있다고 언급하지만, 이러한 최적화에 대한 구체적인 세부 사항은 발췌문에 제공되지 않습니다. 저자는 여러 기기에서의 구성 및 사용법을 다루는 블로그 포스트에 전체 설정 과정을 문서화했습니다.
이 설정을 구현하고자 하는 개발자를 위해, 전체 구성 세부 사항, 시스템 프롬프트 및 최적화 기술은 제공된 URL의 참조된 블로그 포스트에서 확인할 수 있습니다.
📖 Read the full source: r/LocalLLaMA
👀 See Also
LLM 숨겨진 에이전시 신호(Â)를 활용한 향상된 도구 호출
개발자가 LLM이 AUC > 0.94로 도구 호출을 예측하는 선형 분리 가능한 숨겨진 상태 방향인 Â를 가지고 있음을 발견했습니다. 이 신호를 사용하여 도구 호출을 강제하면 Qwen3-1.7B 성능이 26.7%에서 85%로 향상되었으며(+58% 이득), 도구 미사용 실패가 43%에서 2.6%로 감소했습니다.
벤치마크 결과, 정확도는 동일함에도 AI 브라우저 자동화 도구 간 토큰 비용이 최대 2.6배 차이를 보이는 것으로 나타났습니다.
Claude Sonnet 4.6 모델을 사용하여 6가지 실제 작업에 대해 4가지 CLI 브라우저 자동화 도구를 벤치마킹한 결과, 모든 도구가 100% 정확도를 달성했지만 openbrowser-ai는 36,010 토큰을 사용한 반면 다른 도구들은 77,123~94,130 토큰을 사용했습니다. 도구 호출 횟수가 토큰 비용의 가장 강력한 예측 변수였습니다.
붉은 여왕: 클로드 코드를 워커 풀로 실행하는 결정론적 오케스트레이터
Red Queen는 상태 머신을 사용하여 Claude Code 서브프로세스를 조율함으로써, LLM 라우팅 오류와 메가 프롬프트에서 발생하는 토큰 낭비를 제거합니다.
클로드 코드 보이스 모드: 개발자를 위한 핸즈프리 AI 대화
클로드의 음성 모드 베타를 사용하면 AI와 대화하고 응답을 들을 수 있으며, 핸즈프리와 푸시-투-톡 옵션이 제공됩니다. 웹과 모바일에서 작동하며, 일반 사용량 제한에 포함되며, 동일한 대화에서 텍스트와 음성 간 전환이 가능합니다.