Die 100.000 Warums der KI: Wie quasi-deterministische LLM-Ausgaben typischen Schrott erzeugen

In einem aktuellen Substack-Beitrag befasst sich lcamtuf (der Sicherheitsforscher, bekannt für AFL und andere Tools) mit einer wiederkehrenden Debatte: ob man menschengeschriebene Texte von LLM-Ausgaben unterscheiden kann. Sein Argument stützt sich auf eine konkrete Beobachtung zum Verhalten aktueller Modelle in der Praxis.

Die Kernaussage: Quasi-Determinismus

LLMs sind hochmoderne statistische Modelle menschlicher Sprache. Theoretisch sollten ihre Ausgaben unter jedem statistischen Test von menschlichen Texten nicht zu unterscheiden sein. Aber lcamtuf argumentiert, dass das eigentliche Unterscheidungsmerkmal der Quasi-Determinismus ist: Gib hundert 'Autoren' einen ähnlichen Prompt – etwa 'Erstelle ein Nachschlagewerk für Kinder' – und das Modell wird in etwa 80% der Fälle funktional identische Ausgaben liefern.

Er veranschaulicht dies mit einer Collage von etwa 220 Amazon-Buchcovern aus einer Suche nach '100000 Whys' (Link). Das Bild zeigt Gruppen nahezu identischer Cover:

• Die oberen beiden Reihen zeigen alle einen brüllenden T-Rex auf der linken Seite
• Wiederkehrende Motive: rote und weiße Comic-Rakete, Golden Retriever, Löwe
• Autorennamen enthalten eine unwahrscheinliche Anzahl von 'Brights': Ethan, Nolan, Pamela, Daniel, Thomas, Andrew W., Mayan, Mary, Levi – allesamt Bright

Warum das für Entwickler wichtig ist

Für Teams, die KI-generierte Inhalte ausliefern oder auf LLM-APIs aufbauen, bedeutet dies, dass man sich nicht auf Zufälligkeit verlassen kann, um KI-Ursprünge zu verschleiern. Die statistische Signatur liegt nicht in einzelnen Wortwahlen – sondern darin, dass das Modell auf ähnliche Prompts dieselbe übergeordnete Antwortstruktur zurückgibt. Wenn Ihr Workflow darin besteht, viele Variationen aus ähnlichen Prompts zu generieren, werden die Ausgaben clusterartige Muster bilden, was sie leicht erkennbar macht.

lcamtuf bemerkt: 'Dies ist ein vages Signal, also sollten Sie Ihren Praktikanten nicht feuern, wenn er sagt: „Es ist nicht dies – es ist das.“ Aber in informelleren Umgebungen ist es okay, seinem Bauchgefühl zu vertrauen.'

Praktische Konsequenz

Wenn Sie ein LLM zur Automatisierung von Blogbeiträgen nutzen, bedenken Sie, dass Ihr Inhalt am Ende genauso aussehen könnte wie der aller anderen. Das P.S. des Beitrags ist deutlich: 'Ja, die Technologie ist erstaunlich, aber die Chancen stehen gut, dass Ihre Publikation in „100.000 Whys“ umbenannt werden könnte.'

Der Beitrag verlinkt auch auf Beispiele jenseits dieses einen Titels (weitere Beispiele) und weist darauf hin, dass das ursprüngliche 'One Hundred Thousand Whys' ein sowjetisches Kinderbuch von 1929 ist, das in China populär ist und vermutlich den Prompt-Begriff befeuert hat.