Разработчик делится гибридным рабочим процессом в AI-кодинге: Claude для планирования, локальные модели для выполнения.
Гибридный рабочий процесс ИИ-кодирования снижает облачные расходы
Разработчик на r/LocalLLaMA поделился подробным рабочим процессом, который сочетает облачные и локальные модели ИИ для снижения стоимости токенов при сохранении качества кода. Этот подход решает проблему осознания того, что многие задачи по кодированию не требуют дорогих облачных моделей.
Архитектура рабочего процесса
Система следует логике «Рассуждай в облаке, выполняй локально»:
- Планировщик (Claude 3.5 Sonnet): Получает задачу и генерирует точный файл
task_context.md, содержащий инструкции, пути к файлам и логику. Это стоит примерно 300–500 токенов. - Кодер (Локальный Qwen2.5-Coder 30B через Ollama): Принимает спецификацию и фактическое содержимое файла для написания кода. Работает локально с нулевой стоимостью.
- Валидатор: Простой Bash-скрипт запускает
tsc --noEmitилиmypyдля проверки типов. - Рецензент (Локальный Qwen2.5-Coder 7B): Работает параллельно, чтобы проверить на наличие очевидных логических ошибок.
- Автоисправление: Если сборка не удалась, журнал ошибок возвращается локальному кодеру на 2–3 итерации.
Детали реализации
Весь конвейер обёрнут в набор Bash-скриптов, использующих только jq и curl для связи с API Ollama. Система автоматически определяет языковые стандарты (TypeScript, Python, C++ и т.д.) на основе вывода планировщика и не требует тяжёлых сред выполнения Python/Node.
Разработчик отмечает, что локальные модели (даже 30B) часто не справляются со сложными архитектурными рассуждениями, но удивительно хорошо выполняют задачи, когда им дают кристально ясные спецификации.
Результаты и экономия
В недавнем проекте на TypeScript с изменением 12 файлов:
- Использование Claude было ограничено только начальной фазой планирования
- Локальные модели обработали всё остальное: написание 12 файлов, линтинг и рецензирование
- Общая экономия: примерно 85% сокращение токенов по сравнению с выполнением всего внутри Claude Code CLI
Разработчик сделал скрипты доступными в репозитории под названием ai-orchestrator на GitHub (имя пользователя: Mybono) для тех, кто интересуется деталями реализации.
📖 Read the full source: r/LocalLLaMA
👀 Смотрите также
Клодрабанд: Оболочка терминала для постоянных сессий кода Клода
Claudraband оборачивает официальный TUI Claude Code в управляемый терминал, чтобы обеспечить возобновляемые рабочие процессы, удалённое управление сессиями через HTTP-демон и интеграцию с сервером ACP для альтернативных интерфейсов, таких как Zed или Toad. Для полноценной локальной работы требуется Node.js/Bun, аутентифицированный Claude Code и tmux.
Пользовательский бэкенд llama.cpp переносит матричное умножение LLM на NPU AMD XDNA2 в процессорах Ryzen AI MAX 385
Разработчик создал пользовательский бэкенд llama.cpp, который отправляет операции GEMM напрямую на NPU AMD XDNA2 в Ryzen AI MAX 385 (Strix Halo), достигая скорости декодирования 43,7 t/s при энергопотреблении 0,947 Дж/токен с моделью Meta-Llama-3.1-8B-Instruct Q4_K_M. Путь декодирования через NPU экономит около 10 Вт по сравнению с использованием только Vulkan, при этом сохраняя ту же пропускную способность декодирования.
Солитер: Открытый Идентификационный Слой для ИИ-Агентов, Созданный с Кодом Claude
Solitaire — это открытый слой идентификации для ИИ-агентов, который развивается через взаимодействие, а не статическую конфигурацию. Он протестирован в более чем 600 рабочих сессиях и хранит все данные локально, используя SQLite + JSONL, без зависимостей от облачных сервисов.
Обзор производительности Omnicoder-9B: Скорость против проблем с вызовом инструментов
Omnicoder-9B, модель, ориентированная на программирование, дообученная на Qwen3.5 9B с выводами от Opus 4.6, GPT 5.4, GPT 5.3 Codex и Gemini 3.1 Pro, демонстрирует высокую производительность на оборудовании среднего уровня, но имеет проблемы с вызовом инструментов в IDE.