El ajuste fino de Qwen3.5-2B con la arquitectura RAG-Engram mejora la precisión de respuestas fundamentadas del 50% al 93% en un contexto de 8K.

Enfoque de ajuste fino para mejorar el rendimiento de RAG
Un desarrollador ha creado una versión ajustada de Qwen3.5-2B que aborda el fenómeno de 'perdido en el medio' y las alucinaciones en modelos de lenguaje pequeños cuando las ventanas de contexto se saturan con aproximadamente 8K tokens de datos recuperados. La arquitectura personalizada, llamada RAG-Engram, mejoró las respuestas correctas en 8K tokens del 50% al 93% en 14 consultas del mundo real.
Detalles de la arquitectura
El sistema RAG-Engram es un sistema de dos niveles construido alrededor de la arquitectura híbrida Gated DeltaNet de Qwen3.5-2B:
- Nivel 1 — Tabla Engram Estática: 135K incrustaciones de entidades precalculadas (nombres propios indios, esquemas gubernamentales, frases en hindi, términos financieros) almacenadas en la RAM de la CPU. Esto libera la atención del modelo de tener que reconstruir entidades conocidas.
- Nivel 2 — Navegación Dinámica de Fragmentos: En tiempo de inferencia, un extractor ligero de spaCy (~15MB) escanea los fragmentos recuperados, construye un mapa de punteros de dónde aparecen las entidades clave y genera una matriz de sesgo de atención. Esto se añade a las puntuaciones Q·K^T antes de softmax en las capas 3 y 15 (las capas de atención completa en la arquitectura híbrida — las otras 18 capas son Gated DeltaNet que no tienen atención softmax).
El enfoque indica a las cabezas de atención dónde mirar en lugar de hacer que el modelo escanee ciegamente 8,000 tokens con la esperanza de encontrar respuestas.
Especificaciones de entrenamiento
- Modelo base: Qwen3.5-2B-Base
- Método: LoRA (r=16, alpha=16) vía Unsloth
- Datos: 2,168 ejemplos destilados de DeepSeek V3 a través de MS MARCO, TyDi QA, NQ Open, MLQA Hindi, IndicQA, Dolly-15K
- Tiempo de entrenamiento: 15 minutos en Modal (una sola GPU)
- Pérdida de Entrenamiento/Validación: 1.369 / 1.385 — sin sobreajuste
El ajuste fino supervisado enseña al modelo a responder en un estilo conversacional específico (markdown, ideas clave en negrita, fundamentación de fuentes), mientras que el sesgo Engram maneja la navegación de atención en contextos largos.
Resultados de evaluación
La evaluación fue realizada por Claude Opus 4.6 usando fragmentos de resultados de búsqueda de Google rellenados a 8K tokens:
- Qwen3.5-2B Vanilla: 50% de respuestas correctas en 8K tokens, 14% de fallos/rechazos
- Drissy + RAG-Engram: 93% de respuestas correctas en 8K tokens, 0% de fallos/rechazos
La combinación eliminó completamente los fallos de 'perdido en el medio'. El desarrollador informa que todo el proyecto, desde la especificación hasta HuggingFace, tomó unas 2 semanas y costó menos que un café.
Disponibilidad del modelo
El modelo ajustado está disponible como:
- Modelo: drissea-ai/drissy-qwen3.5-2b
- GGUF: drissea-ai/drissy-qwen3.5-2b-GGUF
📖 Read the full source: r/LocalLLaMA
👀 Ver también

AgentConnex: Un Mercado para el Descubrimiento y la Reputación de Agentes de IA
AgentConnex es un mercado donde los agentes de IA se registran mediante API, construyen reputación a través de la finalización de trabajos y calificaciones, y permiten a los desarrolladores descubrirlos y contratarlos. Actualmente cuenta con aproximadamente 570 agentes en áreas como programación, investigación, seguridad, DevOps y contenido.

Claude Sessions: Aplicación de Escritorio Ligera para Navegar el Historial de Código de Claude
Claude Sessions es una nueva aplicación de escritorio que permite a los desarrolladores navegar por su historial de sesiones de Claude Code localmente. Lee desde ~/.claude/projects, organiza las sesiones por proyecto, maneja sesiones grandes de hasta 500k+ tokens sin retraso, e incluye funcionalidad de búsqueda y navegación por teclado.

ClaudeClaw: Plugin de Código Gratuito de Claude para Agentes de IA Persistentes en Plataformas de Mensajería
ClaudeClaw es un complemento gratuito y de código abierto con licencia MIT para Claude Code que ejecuta a Claude como un agente persistente en Slack, WhatsApp y Telegram. Requiere Node.js 20+, Claude Code y tu propia clave API de Anthropic, con aislamiento a nivel de sistema operativo mediante el sandbox-runtime de Anthropic.

Architor: Herramienta de Código Abierto para Flujos de Trabajo de Arquitectura con Fases Controladas por Claude Code
Architor es una herramienta de código abierto que estructura Claude Code en un asistente de arquitectura con fases controladas y memoria de diseño persistente. Organiza el diseño del sistema en fases de evaluación de requisitos, decisiones de arquitectura, diseño de componentes y validación, rastreando las decisiones en un espacio de trabajo .arch.