La Prueba del Pipeline RAG Muestra que el Costo por Token No es la Métrica Correcta para la Selección de Modelos

Un desarrollador realizó una comparación a nivel de producción de tres modelos de IA utilizando pipelines RAG idénticos para responder a una consulta matizada de un cliente sobre el cumplimiento SOC 2. La prueba utilizó Claude Haiku 4.5, Amazon Nova Pro y Amazon Nova Lite con la misma configuración: dos almacenes vectoriales (documentación del producto y documentación de marketing/competitiva), 13 Registros de Decisiones de Arquitectura como contexto de base, aproximadamente 49K tokens de entrada de contexto recuperado por consulta, indicaciones del sistema idénticas y la misma estructura de llamada API de Bedrock con solo el ID del modelo cambiado.

Configuración de la Prueba y Resultados

La consulta fue: "Un cliente preguntó sobre el cumplimiento SOC 2 — ¿cómo respondo?" Todos los modelos recibieron el mismo contexto RAG que contenía un manual completo con correos electrónicos listos para copiar y pegar, manejadores de objeciones, posicionamiento competitivo, respuestas de cumplimiento específicas del marco y salvaguardas sobre qué no decir.

Resultados:

• Nova Lite: 49,067 tokens de entrada, 244 tokens de salida, 5.5s tiempo de respuesta, ~$0.003 costo
• Nova Pro: 49,067 tokens de entrada, 368 tokens de salida, 13.5s tiempo de respuesta, ~$0.040 costo
• Haiku 4.5: 53,674 tokens de entrada, 1,534 tokens de salida, 15.6s tiempo de respuesta, $0.049 costo

Comparación de Calidad de Salida

A pesar del contexto idéntico, los modelos produjeron respuestas dramáticamente diferentes:

• Nova Lite: Generó un correo electrónico genérico de cuatro párrafos que acertó en el hecho central (se despliega en tu cuenta, no hay un informe SOC 2 separado) pero no incluyó manejo de objeciones, posicionamiento competitivo o matices del contexto. Terminó con comentarios meta sobre adherirse a los ADR.
• Nova Pro: Produjo siete puntos con viñetas numeradas cubriendo aspectos técnicos como residencia de datos, autenticación, control de acceso, monitoreo, parches, gestión de secretos y alcance de cumplimiento. Técnicamente preciso pero se leía como documentación de AWS pegada con comentarios meta similares.
• Haiku 4.5: Entregó un manual completo con explicación en lenguaje sencillo, correo electrónico listo para copiar y pegar, manejador de objeciones con analogía de Terraform, respuestas específicas del marco para HIPAA, PCI-DSS, SOX, FINRA, salvaguardas de "qué NO decir", puntos de conversación listos para CRM y posicionamiento competitivo contra otras herramientas.

Hallazgo Clave

La brecha no era sobre información disponible — todos los modelos tenían los mismos ~49K tokens de entrada que contenían el manual completo. La diferencia estaba en lo que cada modelo podía extraer y sintetizar. Nova Lite extrajo un hecho, Nova Pro organizó hechos en una lista, mientras que Haiku sintetizó el contexto en un conjunto de herramientas accionable con seguimientos anticipados.

La diferencia de costo entre Nova Pro y Haiku fue de $0.009 por consulta (menos de un centavo), pero la brecha de calidad de salida fue sustancial. El modelo más barato por token produjo respuestas que requerirían 2-3 consultas de seguimiento para igualar la salida de una sola pasada de Haiku, costando finalmente más a través del uso repetido del pipeline RAG.