Рекомендации по локальным моделям перевода для видеокарт с 32 ГБ VRAM

Разработчик с конфигурацией GPU на 32 ГБ видеопамяти (конкретно упоминая 5090) поделился практическими результатами по локальным моделям перевода, оптимизированным для перевода субтитров в реальном времени и слов/фраз. Его основные языковые пары — шведский-английский и корейский-английский.

Рекомендуемые модели

На основе тестирования качества и скорости:

• Для большинства языков: Unsloth Gemma3 27b Instruct UD, Q6_K_XL
• Для европейских языков + 11 включённых (включая корейский): Bartowski Utter Project EuroLLM 22B Instruct 2512, Q8_0

Разработчик отметил, что эти модели превзошли предыдущие популярные модели: Magistral Small 2509 Q8, Gemma 3 27b Q4, Mistral Small 3.2 Q6_K и GPT_OSS 20b (в таком порядке).

Заметки о производительности

С этими моделями он достиг:

• Перевод субтитров с минимальной или нулевой буферизацией
• Перевод отдельных слов за 0-2 секунды

Модели, которые оказались слишком медленными

• Qwen3.5 27b Q6
• HyperCLOVAX SEED Think 32B Q6 (для корейского)
• Qwen3 32b Q6 (среди других вариантов Qwen3-3.5)
• Viking 33b I1 Q4_K_S

Другие наблюдения

Разработчик упомянул модели TranslateGemma, которые, по его словам, «значительно лучше, согласно Google, чем Gemma3 27b в переводе», но отметил, что они используют формат пользователь-пользователь, а не система-пользователь. Он не пробовал их лично из-за этого различия в формате.

Для перевода с шведского конкретно GPT SW3 20b была отмечена как «хорошая, когда работает, что бывает редко (отказывается принимать мой системный промпт)».

Разработчик также упомянул переход на пробные версии Gemini 2.5 Flash и Gemini 2.5 Flash-lite не потому, что локальный перевод был плох, а потому что он «всё ещё замечал некоторые ошибки». Он выбирает между Deepseek, OpenAI, Gemini, z.AI и Claude для дешёвого перевода, используя ChatGPT Thinking как эталон качества.

Он отметил некоторые бесплатные варианты API-ключей через: NVIDIA NIM, Routeway, Kilo, OpenCode и Puter.js, хотя сам их не пробовал. Он тестировал GLM-4.7-Flash API напрямую от z.ai, найдя его «довольно хорошим, примерно на уровне Gemma 3 27b или даже лучше», но столкнулся с ограничениями по частоте запросов при поиске слов поверх перевода субтитров.