Cerebras lanza modelos Step-3.5-Flash-REAP con una reducción de memoria del 40%.
Qué es esto
Cerebras ha lanzado los modelos Step-3.5-Flash-REAP, que son variantes comprimidas y eficientes en memoria de sus modelos más grandes. Estas son versiones más pequeñas diseñadas para lo que la fuente llama "configuraciones básicas", aunque el modelo de 121B parámetros aún requiere recursos significativos.
Detalles clave de la fuente
Los modelos están disponibles en Hugging Face:
El modelo Step-3.5-Flash-REAP-121B-A11B se comprime de 196B a 121B parámetros, lo que representa una reducción de memoria del 40% manteniendo un rendimiento casi idéntico al modelo completo.
La compresión utiliza REAP (Router-weighted Expert Activation Pruning), descrito como "un novedoso método de poda de expertos que elimina selectivamente expertos redundantes mientras preserva el control independiente del enrutador sobre los expertos restantes".
Características y capacidades
- Rendimiento casi sin pérdidas: Mantiene una precisión casi idéntica en generación de código, codificación agentiva y tareas de llamadas a funciones en comparación con el modelo completo de 196B
- Reducción de memoria del 40%: Comprimido de 196B a 121B parámetros, reduciendo costos de implementación y requisitos de memoria
- Capacidades preservadas: Conserva todas las funcionalidades principales incluyendo generación de código, matemáticas y razonamiento, y llamadas a herramientas
- Compatibilidad inmediata: Funciona con vLLM estándar - no se requieren modificaciones de fuente o parches personalizados
- Optimizado para uso real: Particularmente efectivo para entornos con recursos limitados, implementaciones locales e investigación académica
La fuente señala que aunque estas son "versiones más pequeñas", el modelo de 121B aún requiere una configuración bastante potente a pesar de la compresión.
📖 Leer la fuente completa: r/LocalLLaMA
👀 Ver también
Máquina de Flujo de Estado: Arquitectura No Transformadora Mantiene un 62% de Precisión en Secuencias Largas Mientras los Transformadores Caen al 2%
Un investigador ha desarrollado State Flow Machine (SFM), una arquitectura alternativa que utiliza ranuras de memoria explícitas en lugar de cabezas de atención, logrando un 62% de precisión en una tarea sintética de seguimiento de estado de programa a 4× la longitud de entrenamiento, donde los transformadores caen al 1,9-3,1%. El modelo se ejecuta en un solo NPU Huawei Ascend 910 ProA.
La IA se está desacelerando: Se necesitan $3 billones en ingresos para 2030 para mantener la burbuja
Ed Zitron argumenta que la IA generativa se está desacelerando, no acelerando, y la economía simplemente no cuadra. El artículo se centra en los asombrosos requisitos de capital: 3 billones de dólares o más en ingresos para finales de 2030 para sostener la existencia de la industria de la IA, basado en los costos de construcción de centros de datos y los compromisos de los hiperescaladores.
El modo IA de Google muestra productos un 21,6% más caros que la búsqueda
Un estudio de 23 días rastreó más de 2 millones de listados: cuando el mismo producto aparece tanto en el Modo IA como en la búsqueda tradicional, los precios del Modo IA promedian un 21,6% más. Solo el 1,28% de los productos se superponen.
El Ejército de EE. UU. presiona a Anthropic para que elimine las salvaguardas de Claude para uso militar
Altos mandos militares estadounidenses, incluido el secretario de Defensa Pete Hegseth, se reunieron con ejecutivos de Anthropic para exigir la eliminación de las salvaguardias de Claude contra aplicaciones militares como la vigilancia masiva y las armas autónomas. El Pentágono ha dado a Anthropic hasta el viernes para que cumpla o se enfrente a sanciones, incluida la cancelación de contratos.