세레브라스, 메모리 사용량 40% 감소한 Step-3.5-Flash-REAP 모델 출시

이것이 무엇인가요

Cerebras는 더 큰 모델의 메모리 효율적인 압축 변형인 Step-3.5-Flash-REAP 모델을 출시했습니다. 이는 출처에서 "감자 같은 설정"이라고 부르는 환경을 위해 설계된 더 작은 버전이지만, 121B 파라미터 모델은 여전히 상당한 리소스를 필요로 합니다.

출처의 주요 세부 사항

이 모델들은 Hugging Face에서 이용 가능합니다:

• Step-3.5-Flash-REAP-121B-A11B
• Step-3.5-Flash-REAP-149B-A11B

Step-3.5-Flash-REAP-121B-A11B 모델은 196B에서 121B 파라미터로 압축되어, 전체 모델과 거의 동일한 성능을 유지하면서 40%의 메모리 감소를 나타냅니다.

압축에는 REAP(Router-weighted Expert Activation Pruning)이 사용되며, 이는 "남은 전문가들에 대한 라우터의 독립적인 제어를 유지하면서 중복된 전문가들을 선택적으로 제거하는 새로운 전문가 가지치기 방법"으로 설명됩니다.

기능과 능력

• 거의 손실 없는 성능: 코드 생성, 에이전트 코딩, 함수 호출 작업에서 전체 196B 모델과 비교해 거의 동일한 정확도를 유지합니다
• 40% 메모리 감소: 196B에서 121B 파라미터로 압축되어 배포 비용과 메모리 요구 사항을 낮춥니다
• 보존된 능력: 코드 생성, 수학 및 추론, 도구 호출을 포함한 모든 핵심 기능을 유지합니다
• 즉시 호환성: 기본 vLLM과 작동합니다 - 소스 수정이나 사용자 정의 패치가 필요하지 않습니다
• 실제 사용에 최적화: 리소스가 제한된 환경, 로컬 배포, 학술 연구에 특히 효과적입니다

출처는 이들이 "더 작은 버전"이지만, 121B 모델은 압축에도 불구하고 여전히 상당히 강력한 설정을 필요로 한다고 언급합니다.