Результаты тестирования: 15 языковых моделей проверены на 38 реальных рабочих задачах
Разработчик создал тестовую систему для определения, каким языковым моделям направлять задачи, протестировав 15 моделей на 38 задачах из своего реального рабочего процесса. Задачи включали преобразование CSV, подсчёт букв, модульную арифметику, соответствие формату и многошаговые инструкции. Все задачи оценивались программно с использованием регулярных выражений и точного совпадения — без привлечения языковой модели в качестве судьи.
Результаты тестирования
Тестирование включало 570 API-вызовов общей стоимостью $2,29. Ключевые выводы:
- Claude 3.5 Opus: 100% результат, $0,69 за запуск, 14,2 секунды
- Claude 3.5 Sonnet: 100% результат, $0,20 за запуск, 5,1 секунды
- MiniMax M2.5: 98,60% результат, $0,02 за запуск, 2,3 секунды
- Kimi K2.5: 98,60% результат, $0,05 за запуск, 3,8 секунды
- GPT-oss-20b (локальная): 98,30% результат, $0 за запуск, 4,1 секунды
- Gemini 2.5 Flash: 97,10% результат, $0,00 за запуск, 1,1 секунды
- Claude 3.5 Haiku: 96,90% результат, $0,02 за запуск, 1,8 секунды
Анализ стоимости и производительности
Sonnet и Opus оба набрали 100%, но Opus стоит в 3,5 раза дороже за вызов. Для повседневных задач разработчика Sonnet справляется со всем тем же, что и Opus. Gemini Flash стоимостью $0,003 за запуск против Opus за $0,69 представляет собой 265-кратную разницу в стоимости при разнице в производительности всего 2,9 пункта.
Неожиданные результаты
MiniMax M2.5 и Kimi K2.5 оба достигли 98,6% со 100% соответствием формату — разработчик не использовал ни одну из этих моделей до проведения тестирования. Локально запущенный GPT-oss-20b набрал 98,3% за $0, превзойдя Haiku и DeepSeek R1.
Процесс контроля качества
Процесс контроля качества выявил ошибки в системе оценки. Первоначальные результаты показывали, что Haiku превосходит Sonnet, что оказалось ошибкой системы оценки, выдававшей результаты выше 100%. Было проведено пять проверок контроля качества, каждая с разной моделью, и каждая находила ошибки, пропущенные предыдущими.
Разработчик меняет свою основную модель на Sonnet на основе этих результатов, но планирует чаще переключаться между моделями из-за различий в производительности.
📖 Read the full source: r/ClaudeAI
👀 Смотрите также
Memento Vault: Локальный инструмент для сохранения контекста в сессиях Claude Code
Memento Vault — это набор хуков, которые автоматически захватывают транскрипты сессий, оценивают их и сохраняют атомарные заметки в локальном git-репозитории. Он обеспечивает поиск с нулевой стоимостью через BM25 + векторный поиск со средней задержкой 472 мс и вводит релевантный контекст при запуске сессии, при каждом запросе и при чтении файлов.
Смрити: Git-подобная система для управления состоянием рассуждений LLM, предотвращающая смещение диалога.
Smriti — это инструмент с открытым исходным кодом, который позволяет разработчикам сохранять, восстанавливать, ветвить и сравнивать состояния рассуждений в диалогах с LLM, чтобы предотвратить дрейф. Он рассматривает взаимодействия как состояние, а не как историю чата, что позволяет выполнять чистые откаты и исследовать альтернативные пути без загрязнения основного потока.
Управление узлами: многопользовательская игра .io в реальном времени, полностью созданная с помощью Claude 4.6 и 4.7
Разработчик создал живую многопользовательскую конкурентную .io игру Node Control с помощью Claude 4.6 и 4.7. Особенности: серверный сетевой код с авторитетом на 60 Гц, развертывание в 4 регионах на fly.io и эстетика нейронной сети.
Codiff v0.1.0: Локальное средство просмотра различий для проверки кода, сгенерированного LLM
Codiff v0.1.0 — это быстрая минималистичная настольная программа для просмотра локальных Git-диффов с режимом обхода LLM и встроенными комментариями, которые можно скопировать в Markdown.