TranslateGemma-12b : L'examen humain détecte 71 % d'erreurs manquées par les mesures automatisées

✍️ OpenClawRadar📅 Publié: May 12, 2026🔗 Source
TranslateGemma-12b : L'examen humain détecte 71 % d'erreurs manquées par les mesures automatisées
Ad

Un audit de suivi des traductions de sous-titres TranslateGemma-12b révèle que les métriques automatisées sous-estiment considérablement les erreurs réelles. Le benchmark initial montrait que le modèle surpassait les modèles généraux de pointe (Claude Sonnet, GPT-5.4, DeepSeek, Gemini Flash Lite) dans 6 langues. Pour vérifier, l'équipe a ajouté une révision humaine.

Configuration

  • 21 segments de sous-titres anglais provenant d'une vidéo tutorielle
  • Traduction par TranslateGemma-12b dans 4 langues : ES, JA, TH, ZH-CN (coréen et chinois traditionnel abandonnés)
  • 84 traductions au total, présélectionnées comme ayant obtenu de bons résultats aux métriques automatisées
  • Chaque traduction soumise à un examen MQM humain
Ad

Résultats

Selon le seuil d'alerte propre au tableau de bord (MX ≥ 5 OR CK < 0,70) :

  • Signalé automatiquement : 1/84 (1,2 %)
  • Signalé par l'humain (tout type) : 60/84 (71 %)
  • Signalé par l'humain (Majeur) : 13/84 (15 %)

Par langue :

  • ES : 0/21 auto, 11/21 signalé par l'humain, 2/21 Majeur — principalement des incohérences de ton (alternance formel/informel), la plus facile des quatre
  • JA : 0/21 auto, 17/21 signalé par l'humain, 3/21 Majeur — schéma « fluide mais sens erroné » ; 10 des 15 erreurs de traduction totales dans l'ensemble de données. Un COMETKiwi élevé (moyenne 0,86) a masqué les erreurs. Même mode de défaillance observé avec Claude Sonnet 4.6 sur JA.
  • TH : 0/21 auto, 17/21 signalé par l'humain, 5/21 Majeur — surproduction : 5 erreurs de précision/ajout (insertion de contenu absent de la source), plus des erreurs de ponctuation dues aux points de style anglais.
  • ZH-CN : 1/21 auto (erreur de style), 15/21 signalé par l'humain, 3/21 Majeur — y compris l'omission de « magasin » modifiant le sens, et une traduction incohérente de « ticket » d'un segment à l'autre.

Sur les 25 erreurs de classe Précision (contresens, omission, ajout, non-traduction), toutes se trouvaient dans le quadrant aveugle aux métriques. Les métriques n'ont détecté aucune erreur de précision.

Conclusion

Petit audit, un modèle, un ensemble de contenu — les chiffres sont indicatifs. Mais le schéma est clair : les métriques automatisées seules manquent la majorité des vrais problèmes de traduction, en particulier les erreurs de précision. Pour un travail de sous-titrage en production, la révision humaine reste essentielle.

📖 Read the full source: r/LocalLLaMA

Ad

👀 See Also

Un centre de données IA en Géorgie a utilisé 29 millions de gallons d’eau non comptabilisée
News

Un centre de données IA en Géorgie a utilisé 29 millions de gallons d’eau non comptabilisée

Le campus QTS de Fayetteville a puisé 29 millions de gallons via deux raccordements non autorisés pendant 15 mois, provoquant des plaintes de basse pression. Le comté a renoncé aux amendes et facturé 147 000 $ de manière rétroactive.

OpenClawRadar
L'article d'échecs de Claude Shannon en 1950 a prédit le problème central du GenAI : deviner vs. savoir
News

L'article d'échecs de Claude Shannon en 1950 a prédit le problème central du GenAI : deviner vs. savoir

L'article de Shannon sur les échecs en 1950 a posé le défi central de l'IA : prendre des décisions « assez bonnes » en situation d'incertitude, exactement le problème auquel l'IA générative est confrontée aujourd'hui lorsqu'elle produit des réponses polies mais erronées.

OpenClawRadar
Claude Code v2.1.169 : Mode sécurisé, commande /cd et des dizaines de corrections de bugs
News

Claude Code v2.1.169 : Mode sécurisé, commande /cd et des dizaines de corrections de bugs

v2.1.169 ajoute --safe-mode pour désactiver toutes les personnalisations à des fins de dépannage, une commande /cd pour changer de répertoire en cours de session sans perte de cache, et corrige un blocage UI d'environ 30 à 50 ms, des blocages du presse-papiers sous Windows et des lacunes dans l'application des politiques MCP pour les entreprises.

OpenClawRadar
Anthropic dépose un procès pour éviter un blacklist du Pentagone concernant les restrictions sur l'IA
News

Anthropic dépose un procès pour éviter un blacklist du Pentagone concernant les restrictions sur l'IA

Anthropic a déposé une plainte visant à empêcher le Pentagone de la mettre sur liste noire en raison de restrictions sur l'utilisation de l'IA, selon un rapport de Reuters partagé sur Hacker News.

OpenClawRadar