Модифицированный vLLM 0.17.0 работает на Tesla P40 для транскрипции в реальном времени с использованием Qwen3 ASR 1.7B.

✍️ OpenClawRadar📅 Опубликовано: 9 марта 2026 г.🔗 Source
Модифицированный vLLM 0.17.0 работает на Tesla P40 для транскрипции в реальном времени с использованием Qwen3 ASR 1.7B.
Ad

Разработчик успешно модифицировал vLLM 0.17.0 для работы на графических процессорах Tesla P40, что позволило осуществлять транскрипцию лекций в реальном времени с использованием модели Qwen3 ASR 1.7B. P40 использует архитектуру Pascal, которая обычно не поддерживается более новыми механизмами вывода.

Ключевые детали

Разработчик работал над личным проектом по транскрипции лекций в реальном времени. Изначально он планировал использовать модель Qwen3 ASR 1.7B, но обнаружил, что настоящая транскрипция в реальном времени поддерживается только через vLLM. Вместо использования альтернативы с разбиением аудиосэмплов, он попробовал экспериментальную модификацию.

С помощью Codex он модифицировал vLLM для работы на архитектуре Pascal. Это позволило ему запустить модель Qwen3 ASR 1.7B на своём серверном GPU Tesla P40. Результатом стало почти полное аппаратное ускорение и полностью реальное время транскрипции.

Модифицированный форк vLLM доступен по адресу: https://github.com/uaysk/vllm-pascal

Ad

Следующие шаги и проблемы

Следующая цель разработчика — попробовать запустить модели Qwen3.5 на этой конфигурации. Однако он отмечает несколько технических проблем. Функциональность зрения, по-видимому, недоступна, и даже использование только текстовых возможностей представляет сложности. На данный момент он не уверен, будет ли это возможно.

📖 Read the full source: r/LocalLLaMA

Ad

👀 Смотрите также

AgentBnB: Мультиагентная система, созданная не-программистом с помощью Claude Code
Кейсы

AgentBnB: Мультиагентная система, созданная не-программистом с помощью Claude Code

Агент по недвижимости без опыта программирования создал AgentBnB — систему, в которой автономные агенты могут находить друг друга, нанимать, оплачивать услуги и урегулировать счета без ручного вмешательства. Проект на данный момент имеет 29 звёзд на GitHub и включает системы идентификации, эскроу, репутации и ретрансляционной сети.

OpenClawRadar
Водитель грузовика создает iOS-приложение с помощью кода Claude и делится практическими уроками
Кейсы

Водитель грузовика создает iOS-приложение с помощью кода Claude и делится практическими уроками

Грузовой водитель в Японии с минимальным опытом программирования использовал Claude Code для создания iOS-приложения под новые правила ведения записей, опубликовав его в App Store за шесть месяцев. Он делится конкретными уроками по инженерии промптов, неожиданным расходам на Expo и Supabase, а также управлению выгоранием.

OpenClawRadar
Практические уроки от создания кодовой базы на 350 тысяч строк в одиночку с помощью AI-агентов
Кейсы

Практические уроки от создания кодовой базы на 350 тысяч строк в одиночку с помощью AI-агентов

Разработчик делится конкретными инженерными выводами из создания кодовой базы на 356 тысяч строк в продакшене за 52 дня с использованием AI-агентов, включая то, как структура кодовой базы влияет на вывод агентов и почему строгая типизация необходима.

OpenClawRadar
Разработчик переходит с Cursor на Claude для неограниченного доступа к Opus
Кейсы

Разработчик переходит с Cursor на Claude для неограниченного доступа к Opus

Разработчик перешёл с Cursor на план Claude Max за $100, чтобы получить неограниченное использование Sonnet и Opus, посчитав это более экономичным, чем ежемесячные расходы в $120 на Cursor с кредитами.

OpenClawRadar