수정된 vLLM 0.17.0이 Tesla P40에서 Qwen3 ASR 1.7B로 실시간 음성 인식을 실행합니다.

개발자가 vLLM 0.17.0을 성공적으로 수정하여 Tesla P40 GPU에서 실행할 수 있게 했으며, Qwen3 ASR 1.7B 모델을 활용한 실시간 강의 녹취가 가능해졌습니다. P40은 일반적으로 최신 추론 엔진을 지원하지 않는 Pascal 아키텍처를 사용합니다.

주요 세부사항

이 개발자는 실시간 강의 녹취를 위한 개인 프로젝트를 진행 중이었습니다. 처음에는 Qwen3 ASR 1.7B 모델을 사용할 계획이었지만, 진정한 실시간 녹취는 vLLM을 통해서만 지원된다는 사실을 발견했습니다. 오디오 샘플을 청크로 나누는 대안 대신, 실험적인 수정을 시도했습니다.

Codex를 사용하여 vLLM을 Pascal 아키텍처에서 실행되도록 수정했습니다. 이를 통해 Tesla P40 서버 GPU에서 Qwen3 ASR 1.7B 모델을 실행할 수 있게 되었습니다. 결과는 거의 완벽한 하드웨어 가속과 완전한 실시간 녹취였습니다.

수정된 vLLM 포크는 다음에서 이용 가능합니다: https://github.com/uaysk/vllm-pascal

다음 단계와 과제

개발자의 다음 목표는 이 설정에서 Qwen3.5 모델을 실행해 보는 것입니다. 그러나 여러 기술적 문제가 있습니다. 비전 기능은 사용할 수 없는 것으로 보이며, 텍스트 기능만 사용하는 것도 어려움이 있습니다. 현재로서는 가능할지 여부를 확신하지 못하고 있습니다.