Cerebras выпускает модели Step-3.5-Flash-REAP с сокращением памяти на 40%.
Что это такое
Cerebras выпустила модели Step-3.5-Flash-REAP, которые представляют собой эффективные по памяти сжатые версии их более крупных моделей. Это уменьшенные версии, предназначенные для того, что источник называет «картофельными настройками», хотя модель с 121B параметрами всё ещё требует значительных ресурсов.
Ключевые детали из источника
Модели доступны на Hugging Face:
Модель Step-3.5-Flash-REAP-121B-A11B сжата с 196B до 121B параметров, что представляет собой сокращение памяти на 40% при сохранении почти идентичной производительности по сравнению с полной моделью.
Сжатие использует REAP (Router-weighted Expert Activation Pruning), описанное как «новый метод обрезки экспертов, который выборочно удаляет избыточных экспертов, сохраняя независимый контроль маршрутизатора над оставшимися экспертами».
Особенности и возможности
- Почти без потерь в производительности: Сохраняет почти идентичную точность в задачах генерации кода, агентного кодирования и вызова функций по сравнению с полной моделью на 196B
- Сокращение памяти на 40%: Сжатие с 196B до 121B параметров снижает затраты на развёртывание и требования к памяти
- Сохранённые возможности: Сохраняет все основные функции, включая генерацию кода, математику и логику, а также вызов инструментов
- Полная совместимость: Работает с обычным vLLM — не требуются модификации исходного кода или пользовательские патчи
- Оптимизировано для реального использования: Особенно эффективно для сред с ограниченными ресурсами, локальных развёртываний и академических исследований
Источник отмечает, что хотя это «уменьшенные версии», модель на 121B всё ещё требует довольно мощной настройки, несмотря на сжатие.
📖 Read the full source: r/LocalLLaMA
👀 Смотрите также
Беркли: даже запрос «сохранить голос» делает прозу формальнее при любых AI-правках
Новая статья из Беркли измеряет 300 личных повествований через Claude, ChatGPT и Gemini в трех условиях подсказок. Каждая модель и каждое условие уменьшают количество сокращений, местоимений первого лица и повествовательную близость — подсказка «сохранить голос» лишь уменьшает величину дрейфа, а не его направление.
Исследования показывают, что личностные характеристики влияют на способность Claude к самокоррекции, но не оказывают такого же эффекта на Llama или Qwen.
Исследователь провел 23 эксперимента, тестируя самокоррекцию без ограничений на моделях Claude, Llama и Qwen. Основной вывод: профили личности влияют на способность Claude к самокоррекции — высокая прямолинейность выявляет все ошибки, а низкая — ни одной. Llama и Qwen не осуществляли самокоррекцию даже при идентичных промптах.
Текущее состояние китайских больших языковых моделей: лидеры рынка, открытые модели и бизнес-модели
Анализ на Reddit описывает ландшафт китайских больших языковых моделей (LLM), определяя Doubao от ByteDance как лидера на рынке проприетарных моделей, а DeepSeek — как самую инновационную компанию. В отчёте также изложены бизнес-модели основных игроков и «Шести AI-тигрят», которые сосредоточены на моделях с открытыми весами.
Диагностика регрессии производительности Claude Code: Конфигурация, а не интеллект модели
Анализ Anthropic показывает, что падение производительности Claude Code было вызвано тремя изменениями в продукте — снижение усилий при рассуждении по умолчанию, ошибка кэширования сессий и изменение многословности промптов, а не деградацией модели. Откат изменений восстановил производительность.