Benchmark vs. Produktion: Wenn KI-Agenten-Tests bestehen, aber echte Workflows scheitern

Ein Entwickler, der einen vollautomatisierten Sporttipp-Betrieb (AIBossSports) betreibt, versuchte Kosten zu senken, indem er von Claude Sonnet 4.6 zu günstigeren Modellen über OpenRouter wechselte. Der Betrieb nutzt KI-Agenten für Videoproduktion, Qualitätssicherung, Verteilung auf YouTube/X/TikTok, SMS an Abonnenten und Analysen.

Der Benchmark-Aufbau

Der Entwickler erstellte ein Benchmark-Bewertungsschema, um Alternativen zu testen:

• Eine Produktionsdatei lesen und zusammenfassen
• Verfügbare Video-Assets korrekt auflisten
• Eine mehrstufige Aufgabe an einen Sub-Agenten delegieren
• Ergebnisse aus mehreren Quellen synthetisieren
• Eine strukturierte Ausgabe (JSON/Report-Format) generieren

Beide Grok- und MiniMax-Modelle bestanden diese Tests problemlos, was auf erhebliche Kosteneinsparungen hindeutete.

Produktionsausfälle

Beim Einsatz in der Produktion scheiterten beide Modelle auf Arten, die der Benchmark nicht erfasste:

• Grok halluzinierte Clip-Pfade, die in den Ausgabelogs plausibel, aber falsch waren. Der Video-Agent zog generische, stockartige Clips anstelle von teamspezifischem Filmmaterial, weil die halluzinierten Pfade existierten, aber nicht kontextuell passend waren.
• MiniMax verursachte MIME-Typ-Fehler bei Logo-Assets während der E-Mail-Zusammenstellung. Das E-Mail-System brach bei mehreren Sendungen intermittierend zusammen, was auf die Art zurückgeführt wurde, wie MiniMax Dateianhang-Metadaten verarbeitete.

Der Entwickler schaltete alles zurück auf Claude Sonnet 4.6.

Die gelernte Lektion

Der Benchmark testete, ob Modelle "intelligent genug" waren, aber nicht die betriebliche Zuverlässigkeit in chaotischen realen Kontexten. Die Ausfälle zeigten Lücken im Testen:

• Echte Produktionsverzeichnisstrukturen (keine sauberen Test-Fixtures)
• Asset-Abruf mit absichtlichen Grenzfällen (fehlende Dateien, mehrdeutige Namen)
• End-to-End-E-Mail/Anhang-Validierung
• Multi-Agenten-Kettentests, bei denen Ausfälle mitten in der Kette erfasst werden müssen

Der Entwickler schloss: "Benchmarks testen Intelligenz. Produktionstests testen Zuverlässigkeit. Das ist nicht dasselbe."