Les 100 000 pourquoi de l'IA : comment les sorties quasi-déterministes des LLM créent des déchets révélateurs

Dans un récent article Substack, lcamtuf (le chercheur en sécurité connu pour AFL et d'autres outils) aborde un débat récurrent : peut-on distinguer un texte écrit par un humain de celui produit par un LLM ? Son argument repose sur une observation concrète du comportement des modèles actuels en pratique.

Le point central : le quasi-déterminisme

Les LLM sont des modèles statistiques de pointe du langage humain. En théorie, leur production devrait être indistinguable d'un texte humain selon tout test statistique. Mais lcamtuf soutient que la véritable caractéristique distinctive est le quasi-déterminisme : donnez à une centaine d'« auteurs » une invite similaire — par exemple, « générez un livre de référence pour enfants » — et le modèle produira une sortie fonctionnellement identique environ 80 % du temps.

Il illustre cela avec un collage d'environ 220 couvertures de livres Amazon issues d'une recherche pour « 100000 why » (lien). L'image montre des groupes de couvertures quasi identiques :

• Les deux premières rangées arborent toutes un T-Rex rugissant sur la gauche
• Motifs récurrents : une fusée cartoon rouge et blanche, un golden retriever, un lion
• Les noms d'auteurs incluent un nombre invraisemblable de « Bright » : Ethan, Nolan, Pamela, Daniel, Thomas, Andrew W., Mayan, Mary, Levi — tous Bright

Pourquoi c'est important pour les développeurs

Pour les équipes qui publient du contenu généré par IA ou qui construisent sur des API LLM, l'implication est que vous ne pouvez pas compter sur l'aléatoire pour masquer l'origine IA. La signature statistique ne repose pas sur des choix de mots individuels — c'est le modèle qui renvoie la même structure de réponse de haut niveau pour des invites similaires. Si votre flux de travail implique de générer de nombreuses variations à partir d'invites similaires, la production se regroupera, ce qui facilitera sa détection.

lcamtuf note : « C'est un signal flou, donc vous ne devriez pas virer votre stagiaire quand il dit "ce n'est pas ça — c'est cela". Mais dans des contextes plus informels, il est acceptable de suivre votre instinct. »

En pratique

Si vous utilisez un LLM pour automatiser la rédaction de blog, sachez que votre contenu pourrait finir par ressembler exactement à celui de tout le monde. Le P.S. de l'article est direct : « oui, la technologie est incroyable, mais il y a de fortes chances que votre publication puisse être renommée "100 000 pourquoi". »

L'article renvoie également à des exemples au-delà de ce seul titre (plus d'exemples) et note que l'original « Cent mille pourquoi » est un livre pour enfants soviétique de 1929 populaire en Chine, qui a probablement ensemencé le terme de l'invite.