Qwen3.5-27B-FP8 성능 벤치마크 (OpenClaw 에이전트 포함)

커뮤니티 테스트 성능 벤치마크

커뮤니티 테스트는 48GB VRAM을 탑재한 단일 수정 RTX 4090 GPU를 사용하여 수행되었습니다. 공식 Qwen3.5-35B-A3B-FP8 및 Qwen3.5-27B-FP8 모델이 256K 컨텍스트 길이로 테스트되었습니다.

프레임워크 권장사항

SGLang을 권장합니다 접두사 캐싱을 완전히 지원하는 유일한 프레임워크로, Qwen3.5의 하이브리드 어텐션 아키텍처에 필수적입니다.

• 100K 컨텍스트 기준: 콜드 스타트 프리필은 약 10초 소요
• 캐싱 적용 시: 프리필이 200ms로 감소
• 결과: 매우 낮은 첫 토큰 지연 시간과 극도로 빠른 출력

모델 성능 지표

• Qwen3.5-35B-A3B-FP8: 120 토큰/초로 시작하여 80 토큰/초로 감소
• Qwen3.5-27B-FP8: 20 토큰/초로 시작하여 약간 감소한 18 토큰/초

OpenClaw 에이전트 확장성

OpenClaw는 6개의 에이전트를 동시에 실행하는 에이전트 팀을 운영할 수 있으며, 속도가 120 토큰/초까지 확장됩니다. 테스터는 이 확장 동작에 놀라움을 표시했습니다.

언급된 단점은 이 구성에서 단일 스레드 성능이 느리다는 점입니다.

MTP 최적화 참고사항

27B-FP8 모델에 MTP(다중 토큰 예측)를 활성화하면 단일 요청 생성 속도를 크게 향상시킬 수 있습니다:

• 단일 NVIDIA H100 기준: 20K 컨텍스트 창으로 100 토큰/초 유지
• 64K 토큰 프리필 속도: 1초 미만

중요 주의사항: MTP는 접두사 캐싱과 충돌하며 VRAM 사용량이 매우 높습니다. RTX 4090 사용자는 낮은 num-steps 설정으로 시작해야 합니다.