Granite 4.1: IBM의 8B 밀집 모델, 벤치마크에서 32B MoE와 동급 성능
IBM이 Granite 4.1을 출시했습니다. Apache 2.0 라이선스의 오픈소스 언어 모델 제품군으로, 3B, 8B, 30B 크기로 제공됩니다. 모두 밀집 디코더 전용 트랜스포머를 사용하며, MoE나 긴 추론 체인은 없습니다. 8B 모델이 두드러지는데, 여러 벤치마크에서 이전 Granite 4.0-H-Small(32B MoE, 9B 활성)과 동등하거나 더 나은 성능을 보입니다.
주요 벤치마크 결과
- ArenaHard(실제 프롬프트 품질): 8B 69.0점, 32B MoE는 더 낮은 점수.
- BFCL V3(도구 호출): 8B 68.3점, 32B MoE 64.7점.
- GSM8K(수학 추론): 8B 92.5점.
- AlpacaEval, MMLU-Pro, BBH, EvalPlus, MBPP: 8B가 일관되게 더 큰 모델을 능가.
학습 파이프라인
Granite 4.1은 변화하는 데이터 혼합으로 5단계에 걸쳐 15조 토큰으로 학습되었습니다:
- 1단계: CommonCrawl 59%, 코드 20%, 수학 7%.
- 2단계: 수학이 35%, 코드가 30%로 증가.
- 3-4단계: 사고 체인 추론, 명령 데이터, 고품질 웹 콘텐츠 혼합.
- 5단계: 컨텍스트 윈도우를 512K 토큰(8B 및 30B)으로 확장.
핵심 통찰: 파라미터 확장보다 데이터 품질. IBM의 데이터 필터링 파이프라인은 파인튜닝 중 환각이나 명령 무시 예제를 거부하여 잘못된 신호로 학습하는 것을 방지합니다.
AI 에이전트에게 중요한 이유
밀집 모델은 예측 가능한 지연 시간과 비용을 제공하며 라우팅 오버헤드가 없습니다. AI 코딩 에이전트를 사용하는 개발자에게 Granite 4.1의 8B 모델은 MoE 모델의 일부 비용으로 강력한 도구 사용과 수학 추론을 제공합니다.
📖 전체 원문 읽기: HN AI Agents
👀 See Also
OpenClaw 초기 사용자 보고서: 텔레그램 문제, 에이전트 프로필 하드코딩 및 세션 재설정 문제
OpenClaw를 처음 사용한 사용자의 3일간의 경험에서 몇 가지 실질적인 문제점이 드러났습니다: Telegram 응답이 사라지는 현상, 에이전트 프로필이 소스 코드에서 'messaging'으로 하드코딩된 점, 그리고 세션 재설정 후 Wacli를 사용할 수 없게 되는 문제입니다. 사용자는 Docker에서 마이크로 테스트를 실행하고 Telegram과 Wacli를 연결하며 하트비트를 설정했습니다.
스노우플레이크, AI 대체 솔루션 교육 후 문서화 직원 감축
스노플레이크가 기술 문서 작성 및 문서화 팀에서 '표적 인력 감축'을 확인했으며, 소식통에 따르면 약 400명이 영향을 받은 것으로 알려졌습니다. 이 회사는 8개월 동안 문서화 세션을 화면 녹화하여 선임 작가들의 워크플로우에서 훈련 데이터셋을 구축해 왔습니다.
마이크로소프트, 훈련 인사이트와 함께 Phi-4-reasoning-vision-15B 멀티모달 모델 공개
마이크로소프트 리서치가 Microsoft Foundry, HuggingFace, GitHub를 통해 150억 개 파라미터의 오픈 웨이트 멀티모달 추론 모델 Phi-4-reasoning-vision-15B를 공개했습니다. 이 모델은 추론 능력과 효율성을 균형 있게 조화시키며, 수학/과학 추론과 UI 이해에 탁월한 성능을 보입니다.
애플 실리콘 벤치마크: 비전 LLM 분류를 위한 M3, M4, M5 Max에서의 Qwen3-VL 성능
벤치마크 결과에 따르면 Qwen3-VL 비전 LLM의 Apple Silicon에서의 분류 성능은 다음과 같습니다: M3 Max와 M4 Studio는 8B 모델에서 거의 동일한 성능을 보였으며, M5 Max는 75-83% 더 빠릅니다. 비전 작업에서는 토큰 생성 시 메모리 대역폭이 프리필보다 더 중요합니다.