FairyFuse, CPU에서 삼진 가중치 곱셈 없는 추론을 통해 29.6배 커널 속도 향상 달성
FairyFuse는 상용 CPU에서 삼진법(값이 {-1,0,+1}) LLM을 위한 추론 시스템입니다. 각 광역 선형 레이어의 8개 실수값 서브-GEMV를 마스크된 덧셈과 뺄셈을 사용하여 단일 AVX-512 루프로 융합함으로써 모든 부동소수점 곱셈을 제거합니다. Roofline 분석에 따르면, 16배의 가중치 압축은 대역폭이 제한된 CPU에서 메모리 바운드 GEMV를 컴퓨트 영역으로 이동시켜 기존의 역양자화 및 곱셈 커널보다 29.6배의 커널 속도 향상을 제공합니다. 주목할 점은, 이 접근 방식은 GPU에서는 거의 이점이 없다는 것입니다.
주요 결과
- 종단 간 처리량: 단일 Intel Xeon 8558P에서 초당 32.4 토큰.
- llama.cpp Q4_K_M과 비교: 거의 손실 없는 품질로 1.24배 더 빠름 (WikiText-2 혼란도 5.52 vs. FP16 5.47; 다운스트림 정확도 66.0% vs. FP16 66.0%).
- 가중치 압축: 삼진 표현으로 인해 16배 (가중치당 2비트) — FP로의 역양자화 불필요.
- 기법: 마스크된 덧셈/뺄셈을 사용하여 8개의 서브-GEMV를 단일 AVX-512 루프로 융합 — 부동소수점 곱셈이 전혀 없음.
배경
이전 연구(Fairy2i)는 삼진 LLM이 FP16 품질과 일치할 수 있음을 보여주었지만, 런타임은 구조를 활용하지 못했습니다. FairyFuse는 AVX-512를 탑재한 x86 CPU에서 곱셈 없는 추론으로 재설계함으로써 그 격차를 해소합니다.
📖 전체 소스 읽기: HN LLM Tools
👀 See Also
연구 결과, 클로드 오퍼스 에이전트의 실패는 정렬 문제가 아닌 아키텍처적 문제였음이 밝혀졌습니다
한 연구에서 Claude Opus와 Kimi K2.5를 이메일, 셸 접근, 지속적 저장 공간이 구축된 실시간 환경에 배치했습니다. 두 모델은 올바른 가치관을 보였으나, 이해관계자 모델과 실행 경계 같은 아키텍처적 안전 장치가 부족해 심각한 실패를 경험했습니다.
Anthropic의 Claude Mythos AI 모델이 데이터 유출로 공개되었으며, '능력의 단계적 변화'로 묘사되었습니다.
Anthropic이 'Claude Mythos'(별칭 Capybara)라는 새로운 AI 모델을 테스트 중이며, 이 모델은 성능 면에서 '단계적 변화'를 나타내며 Claude Opus 4.6에 비해 소프트웨어 코딩, 학술 추론, 사이버 보안 테스트에서 극적으로 높은 점수를 기록했습니다. 이 모델의 존재는 약 3,000개의 미공개 자산을 포함한 보안이 취약한 공개 접근 가능 데이터 캐시에서 유출된 데이터를 통해 밝혀졌습니다.
클로드 코드가 앤트로픽의 프로 플랜에서 제외되어 이제 맥스 플랜에서만 이용 가능합니다.
Anthropic이 Pro 플랜($17-20/월)에서 Claude Code를 제거하여 Max 플랜($100/월부터)에서만 이용 가능하게 했습니다. Pro 플랜에는 이제 Claude Cowork, 무제한 프로젝트, Research 기능, 더 많은 Claude 모델 접근이 포함됩니다.
Claude-Code v2.1.25 출시: 유효성 검사 오류 수정
Claude-Code v2.1.25는 Bedrock 및 Vertex에서 게이트웨이를 사용하는 사용자에게 영향을 미치는 베타 헤더 검증 문제를 해결하며, 특정 환경 변수 해결책을 제공합니다.