Ein KI-Versagen in einer Demo: Claude Code korrigiert Rechtschreibung statt Schemafehler, OpenAI verhunzt benutzerdefinierte Feldzuordnung

Während eines Workshops bei Prismatic erstellte ein Entwickler eine B2B-Integration live von Anfang bis Ende. Zwei KI-Tools versagten auf unterschiedliche Weise und zeigten, dass das Verhalten von Agenten in der realen Welt chaotisch und nicht deterministisch ist.

Claude Code: Löste das falsche Problem

Claude Code erstellte in etwa 30 Sekunden einen Konfigurationsassistenten mit JSON Forms. Der generierte Assistent sah gut aus, aber während des Tests trat ein JSON-Schema-Validierungsfehler auf – etwas mit „darf nicht weniger als ein Element haben". Als der Entwickler Claude bat, das Problem zu beheben, verbrachte der Agent die nächsten Minuten damit, Rechtschreibwarnungen in der Datei zu korrigieren, anstatt den Schemafehler zu beheben. Der Entwickler sagte schließlich „ich hoffe wirklich, dass es mehr tut, als nur Rechtschreibfehler zu beheben" und brach ab, indem er Code aus einem am Vorabend durchgeführten Probelauf einfügte.

OpenAI: Müll beim ersten Versuch mit seltsamen Feldern

Die Integration ruft OpenAI zur Laufzeit auf, um Standardfeldzuordnungen zwischen dem Salesforce-Schema eines Kunden und der Ziel-App zu generieren. Für einen normalen Salesforce-Kontakt (E-Mail zu E-Mail, Firma zu Firma) funktionierte es einwandfrei – „langweilig" laut Autor. Aber bei einem benutzerdefinierten Datensatztyp mit absichtlich seltsamen Feldnamen – Group name, Internet address, Physical place, Internet email address – lieferte der erste Aufruf Müll. Ein zweiter Versuch brachte alles richtig.

Wichtige Erkenntnisse

• Langweilige Schemata unterschätzen LLMs – sie lassen den Einsatz von Agenten übertrieben wirken. Die seltsamen, benutzerdefinierten Fälle sind es, wo sich der Einsatz lohnt, aber die meisten Demos vermeiden diese der Einfachheit halber.
• Live-Fehler sind nützlicher als Erfolge. Jeder, der mit Agenten gearbeitet hat, weiß, dass sie Chaos sind. Das Verhalten „Rechtschreibung korrigiert statt Schemafehler" würde kein Dokument vorhersagen.
• Verschiedene Fehlerformen: Claude Code hatte alles, was es brauchte, arbeitete aber am falschen Problem. OpenAI „wusste" die Antwort, lieferte sie aber beim ersten Mal nicht. Die Fehlerform könnte Hinweise darauf geben, wie man jedes Tool einsetzt.

Der Autor arbeitet bei Prismatic, hat aber keinen Link geteilt und konzentriert sich auf die Lernmöglichkeit statt auf Eigenwerbung.