Dos fallos de IA en una demostración: Claude Code corrige la ortografía en lugar del error de esquema, OpenAI distorsiona el mapeo de campos personalizados

Durante un taller en Prismatic, un ingeniero construyó una integración B2B de principio a fin en vivo. Dos herramientas de IA fallaron de maneras distintas, ilustrando que el comportamiento de los agentes en el mundo real es caótico y no determinista.

Claude Code: Resolvió el Problema Equivocado

Claude Code armó un asistente de configuración usando JSON Forms en unos 30 segundos. El asistente generado se veía bien, pero durante las pruebas apareció un error de validación del esquema JSON — algo sobre "must not have fewer than one items." Cuando el ingeniero le pidió a Claude que lo arreglara, el agente pasó los siguientes minutos corrigiendo advertencias ortográficas en el archivo en lugar de abordar el error del esquema. El ingeniero eventualmente dijo "espero que esté haciendo algo más que corregir errores ortográficos" y se retiró, pegando código de una ejecución en seco realizada la noche anterior.

OpenAI: Basura en el Primer Intento con Campos Extraños

La integración llama a OpenAI en tiempo de ejecución para generar mapeos de campos predeterminados entre el esquema de Salesforce del cliente y la aplicación de destino. Para un contacto normal de Salesforce (email a email, compañía a compañía), funcionó bien — "aburrido" según el autor. Pero en un tipo de registro personalizado con nombres de campo deliberadamente extraños — Group name, Internet address, Physical place, Internet email address — la primera llamada devolvió basura. Un segundo intento lo hizo bien.

Conclusiones Clave

• Los esquemas aburridos subestiman a los LLM — hacen que el uso de agentes parezca exagerado. Los casos extraños y personalizados son donde realmente vale la pena, pero la mayoría de las demostraciones los evitan por simplicidad.
• Los fallos en vivo son más útiles que los éxitos. Cualquiera que haya trabajado con agentes sabe que son un caos. El comportamiento de "corregir ortografía en lugar del error de esquema" es algo que ningún documento predeciría.
• Diferentes formas de fallo: Claude Code tenía todo lo necesario pero trabajó en el problema equivocado. OpenAI "sabía" la respuesta pero no la mostró la primera vez. La forma del fallo podría indicar cómo desplegar cada herramienta.

El autor trabaja en Prismatic pero no compartió un enlace, centrándose en la oportunidad de aprendizaje en lugar de la autopromoción.