Сравнение производительности Qwen3.5-27B в 8-битном и 16-битном форматах
Пользователь Reddit на r/LocalLLaMA поделился результатами тестирования, сравнивающими производительность Qwen3.5-27B с различными настройками точности.
Настройка теста и результаты
Пользователь протестировал две конфигурации:
- Исходные веса bf16 с 16-битным KV-кэшем
- 8-битная квантизация fp8 от Qwen с 8-битным KV-кэшем
Тесты проводились с использованием vLLM на видеокарте RTX 6000 Pro. В качестве бенчмарка использовался Aider benchmark. Пользователь сообщил о "практически идентичных результатах" между двумя конфигурациями, объясняя небольшие различия случайными погрешностями, поскольку каждая конфигурация была запущена только один раз.
Вывод и рекомендация
На основе результатов тестирования пользователь пришёл к выводу, что "следует использовать fp8 как для весов, так и для кэша". Основное преимущество, которое он отметил, заключается в том, что этот подход "значительно увеличит доступный объём контекста" благодаря снижению использования памяти за счёт меньшей точности.
Такое тестирование квантизации актуально для разработчиков, запускающих большие языковые модели локально, где ограничения памяти часто ограничивают размер окна контекста. Использование форматов с меньшей точностью, таких как fp8, может обеспечить большие окна контекста без значительного снижения производительности, как показывают эти предварительные результаты.
📖 Read the full source: r/LocalLLaMA
👀 Смотрите также
Отчет по индексу искусственного интеллекта Стэнфорда за 2026 год: ключевые тенденции в инвестициях, моделях и общественном восприятии
Отчет по индексу ИИ Стэнфорда за 2026 год показывает, что инвестиции в ИИ стремительно растут, в то время как влияние на рабочие места и общественное восприятие остается неоднозначным. Американские компании выпустили 50 значимых моделей ИИ в 2025 году, а Китай начинает сокращать разрыв.
Критика границ абстракции и подхода к интеграции сервисов в MCP
Обсуждение на Reddit критикует MCP за объединение доступа к API, эффективных инструментов и предметных знаний в один слой, утверждая, что это создаёт ограниченные интерфейсы по сравнению с базовыми API. В посте в качестве примера приводится Lattice, чей публичный API охватывает только рабочие процессы HR-администрирования, несмотря на наличие полного GraphQL API.
Twitch использует стримы для обучения ИИ Amazon — вот как отказаться
Twitch включил новую настройку, которая использует контент стримеров для обучения генеративных моделей ИИ Amazon, и она включена по умолчанию. Вот как её отключить.
Больницы Нью-Йорка расторгают контракт с Palantir на фоне проверок расширения компании в Великобритании.
Государственная больничная система Нью-Йорка не продлит свой контракт с Palantir на $4 млн в октябре, перейдя на внутренние системы. Тем временем Palantir сталкивается с проблемами конфиденциальности из-за сделки с NHS на £330 млн и нового контракта с британским финансовым регулятором.