Dois Erros de IA em Uma Demo: Claude Code Corrige Ortografia em Vez de Erro de Esquema, OpenAI Bagunça Mapeamento de Campo Personalizado

Durante um workshop na Prismatic, um engenheiro construiu uma integração B2B completa ao vivo. Duas ferramentas de IA falharam de maneiras distintas, ilustrando que o comportamento de agentes no mundo real é caótico e não determinístico.

Claude Code: Resolveu o Problema Errado

O Claude Code criou um assistente de configuração usando JSON Forms em cerca de 30 segundos. O assistente gerado parecia bom, mas um erro de validação de esquema JSON surgiu durante os testes — algo sobre "não deve ter menos de um item". Quando o engenheiro pediu ao Claude para corrigir, o agente passou os minutos seguintes corrigindo avisos de ortografia no arquivo em vez de lidar com o erro de esquema. O engenheiro eventualmente disse "espero que esteja fazendo mais do que corrigir problemas de ortografia" e desistiu, colando o código de uma execução de teste feita na noite anterior.

OpenAI: Lixo na Primeira Tentativa com Campos Estranhos

A integração chama a OpenAI em tempo de execução para gerar mapeamentos de campo padrão entre o esquema Salesforce de um cliente e o aplicativo de destino. Para um contato normal do Salesforce (email-para-email, empresa-para-empresa), funcionou bem — "chato" segundo o autor. Mas em um tipo de registro personalizado com nomes de campo deliberadamente estranhos — Group name, Internet address, Physical place, Internet email address — a primeira chamada retornou lixo. Uma segunda tentativa acertou tudo.

Principais Conclusões

• Esquemas chato subestimam LLMs — fazem o uso de agentes parecer exagero. Os casos personalizados e estranhos são onde ele mostra seu valor, mas a maioria das demonstrações os evita por simplicidade.
• Falhas ao vivo são mais úteis que sucessos. Quem já trabalhou com agentes sabe que eles são caóticos. O comportamento de "corrigiu ortografia em vez de erro de esquema" é algo que nenhuma documentação preveria.
• Diferentes formatos de falha: O Claude Code tinha tudo o que precisava, mas trabalhou no problema errado. A OpenAI "sabia" a resposta, mas não a apresentou na primeira vez. O formato da falha pode indicar como implantar cada ferramenta.

O autor trabalha na Prismatic, mas não compartilhou um link, focando na oportunidade de aprendizado em vez de autopromoção.