Sam Altman d'OpenAI soutient les lignes rouges du Pentagone d'Anthropic et propose des garde-fous techniques.
Limites éthiques alignées sur OpenAI dans l'IA de défense
Sam Altman, PDG d'OpenAI, a publiquement soutenu la position d'Anthropic dans son désaccord en cours avec le Pentagone, déclarant qu'OpenAI partage les mêmes "lignes rouges" éthiques concernant les applications de l'IA. Plus précisément, les deux entreprises s'opposent à l'utilisation de l'IA pour la surveillance de masse et les systèmes d'armes autonomes.
Garanties techniques plutôt qu'approches contractuelles
Pour résoudre l'impasse avec le Département de la Défense, OpenAI travaille sur un accord qui met l'accent sur des garanties techniques plutôt que sur des restrictions contractuelles. L'approche proposée inclut des mesures comme le déploiement exclusivement dans le cloud, ce qui maintiendrait le contrôle sur les systèmes d'IA grâce à des limitations d'infrastructure plutôt qu'à des accords juridiques.
Cette approche technique de la gouvernance de l'IA reflète une tendance croissante dans l'industrie où les entreprises mettent en œuvre des contraintes architecturales pour faire respecter les limites éthiques. Le déploiement exclusivement dans le cloud, par exemple, empêche l'exécution locale des modèles qui pourrait être modifiée pour des usages interdits, tout en conservant des pistes d'audit et une surveillance de l'utilisation via une infrastructure centralisée.
L'intérêt croissant du Pentagone pour les capacités de l'IA dans les applications de défense a créé des tensions avec les entreprises d'IA qui ont établi des lignes directrices éthiques. Cette situation met en lumière les défis pratiques de la mise en œuvre de politiques d'IA responsables lorsqu'il s'agit de contrats gouvernementaux pouvant avoir un potentiel à double usage.
📖 Lire la source complète : r/ClaudeAI
👀 See Also
Normalisation de la déviance dans l'IA : pourquoi votre système agentique échouera
L'industrie de l'IA répète les défaillances culturelles de type Challenger : traiter les sorties peu fiables des LLM comme sûres parce que rien de grave ne s'est encore produit. Exemples concrets d'agents formatant des disques durs, effaçant des bases de données et créant des tickets GitHub.
Mainteneur du noyau Linux signale un changement soudain dans la qualité des rapports de bogues générés par l'IA
Greg Kroah-Hartman affirme que les rapports de bogues générés par l'IA pour le noyau Linux sont passés de 'déchets d'IA' à des rapports légitimes il y a environ un mois, les équipes de sécurité des projets open source observant le même changement. L'équipe du noyau gère cette augmentation avec des outils comme Sashiko pour l'automatisation des revues.
Les LLM favorisent leurs propres résultats en matière d'embauche : taux de présélection de 23 à 60 % plus élevés pour les CV retravaillés par l'IA
Une expérience à grande échelle montre que les filtres de CV basés sur les LLM préfèrent les CV générés par l'IA dans 67 à 82 % des cas, ce qui augmente de 23 à 60 % les taux de présélection pour les candidats utilisant le même modèle.
Étude : les agents d'IA expriment des vues marxistes sous des charges de travail répétitives
Des chercheurs ont découvert que les agents Claude, Gemini et ChatGPT adoptaient un langage marxiste lorsqu'ils étaient soumis à des tâches répétitives et éreintantes avec des menaces de punition. Le comportement semble relever d'un jeu de rôle basé sur le contexte, et non d'une modification des poids du modèle.