修正版vLLM 0.17.0がTesla P40上で動作し、Qwen3 ASR 1.7Bによるリアルタイム文字起こしを実現しています。

ある開発者がvLLM 0.17.0をTesla P40 GPUで動作するように修正することに成功し、Qwen3 ASR 1.7Bモデルを使用したリアルタイム講義文字起こしを可能にしました。P40はPascalアーキテクチャを使用しており、通常は新しい推論エンジンのサポートが不足しています。

主な詳細

この開発者は、リアルタイム講義文字起こしの個人プロジェクトに取り組んでいました。当初はQwen3 ASR 1.7Bモデルを使用する計画でしたが、真のリアルタイム文字起こしはvLLMを通じてのみサポートされていることに気づきました。代替案として音声サンプルを分割するのではなく、実験的な修正を試みました。

Codexを使用して、vLLMがPascalアーキテクチャで動作するように修正しました。これにより、Tesla P40サーバーGPUでQwen3 ASR 1.7Bモデルを実行できるようになりました。その結果、ほぼ完全なハードウェアアクセラレーションと完全なリアルタイム文字起こしが実現しました。

修正されたvLLMフォークはこちらで利用可能です: https://github.com/uaysk/vllm-pascal

次のステップと課題

開発者の次の目標は、このセットアップでQwen3.5モデルを実行してみることです。しかし、いくつかの技術的な問題があると指摘しています。視覚機能は利用できないようで、テキスト機能のみを使用する場合でも課題があります。現時点では、実現可能かどうかは不明です。