Локальная разработка ИИ с Qwen3.6-27B и Opencode на 5090

Разработчик, ранее считавший локальные LLM 'не соответствующими стандартам' по сравнению с облачными предложениями вроде Claude Code или Cursor, недавно перешел на полностью локальную настройку. Используя Opencode + llama-server + Qwen3.6-27B с разумной квантизацией и контекстом 128K, работающую на одной RTX 5090 в выделенном Linux-боксе. Настройка работает по сети на основную рабочую машину.

Ключевые детали

• Инструменты: Opencode (фронтенд) + llama-server (бэкенд) + модель Qwen3.6-27B
• Оборудование: 1× RTX 5090, выделенная Linux-машина
• Длина контекста: 128K токенов (пользователь не уверен, можно ли увеличить, но находит её достаточной)
• Производительность: Не идеальна — иногда возникают циклы, требующие ручного вмешательства, — но в целом 'очень стоящая'

Мотивация

Переход был вызван растущими ограничениями использования и 'ухудшением' облачных тарифов. Локальная настройка устраняет беспокойство о лимитах использования, анализе запросов или блокировке аккаунта — особенно важно для исследований безопасности, парсинга или других действий, которые могут привлечь внимание облачного провайдера.

Для кого это

Разработчики, колеблющиеся по поводу локальных AI-агентов для кодирования, особенно те, кто скептически относился к качеству локальных моделей или кому нужно избегать рисков, связанных с облачными аккаунтами. Если у вас есть мощный GPU (например, RTX 5090), теперь опыт сопоставим с облачными инструментами.

Итог

Пользователь сообщает об 'очень освобождающем' опыте, несмотря на occasional hiccups, и считает, что локальная разработка AI достигла точки, когда она 'действительно стоящая'.