Gemma4 26B-A4B는 웹 검색 및 이미지 지원으로 빠른 로컬 성능을 제공합니다.
Gemma4 26B-A4B 성능 및 기능
gemma-4-26B-A4B 모델은 로컬 사용에 강력한 성능을 보여주며, 출처에 따르면 RTX 4090 GPU에서 실행 시 초당 약 145 토큰의 속도를 보고합니다. 이러한 능력과 속도의 조합은 반응성이 좋은 로컬 애플리케이션에 적합합니다.
출처의 주요 기능
- 모델: gemma-4-26B-A4B
- 성능: RTX 4090에서 ~145 t/s (초당 토큰)
- 통합: 웹 검색 MCP (모델 컨텍스트 프로토콜) 지원
- 멀티모달: 이미지 지원 포함
- 플랫폼: Mac 및 iPhone 사용을 위한 설정 문서화
출처에서는 간단한 트릭과 짧은 시스템 프롬프트로 경험을 개선할 수 있다고 언급하지만, 이러한 최적화에 대한 구체적인 세부 사항은 발췌문에 제공되지 않습니다. 저자는 여러 기기에서의 구성 및 사용법을 다루는 블로그 포스트에 전체 설정 과정을 문서화했습니다.
이 설정을 구현하고자 하는 개발자를 위해, 전체 구성 세부 사항, 시스템 프롬프트 및 최적화 기술은 제공된 URL의 참조된 블로그 포스트에서 확인할 수 있습니다.
📖 Read the full source: r/LocalLLaMA
👀 See Also
LLM 에이전트를 위한 복잡한 검색 파이프라인을 간단한 git 쉘 명령어로 대체하기
한 개발자가 AI 에이전트 검색 파이프라인(sentence-transformers, rank-bm25, 2단계 LLM 파이프라인) 전체를 git 저장소에 대해 읽기 전용 셸 명령을 실행할 수 있는 단일 도구로 교체하여 Docker 이미지 크기를 약 3GB 줄이고 타임아웃 문제를 해결했습니다.
연구원, 클로드 코드에 사실 확인 기능 구축, 자체 문서서 환각 발견
한 연구자가 /veracity-tweaked-555라는 Claude Code 스킬을 개발했는데, 이 스킬은 문서를 원자적 주장으로 분해하고 웹 검색을 통해 각각을 검증합니다. 4개의 웨이브에 걸쳐 16개의 병렬 에이전트를 사용합니다. 자체 감사 시, 이 스킬은 자체 문서에 허위 통계와 과장된 주장이 포함되어 있어 100점 만점에 62점을 받았습니다.
Memtrace: 클로드 코드 에이전트를 위한 지속적이고 시간 인식적인 코드베이스 메모리
Memtrace는 Tree-sitter AST 파싱과 하이브리드 검색(BM25 + Jina-code 임베딩)을 사용하여 Claude Code 에이전트에게 항상 최신 상태의 스냅샷과 이중 시간 재생을 제공하며, 인덱싱 중 LLM 추론 비용이 0입니다.
단일 호출 MCP 파이프라인이 Claude Code 토큰 사용량을 74% 감소시킵니다
한 개발자가 컨텍스트 엔진(MCP 서버)을 구축한 경험을 공유했습니다. 이 엔진은 Claude Code에 코드베이스의 의존성 그래프를 제공하여 전체 파일 대신 관련 코드만 읽을 수 있게 합니다. 이 도구는 원본 파일 대신 의존성 그래프와 스켈레톤을 제공함으로써 토큰 사용량을 크게 줄입니다.