Encyclique du pape Léon XIV sur l'IA : points clés pour les développeurs

Ce matin, le Vatican a publié Magnifica Humanitas, l'encyclique du pape Léon XIV sur l'intelligence artificielle. Simon Willison a lu le document complet (via une application ElevenReader) et en a extrait les sections qui parlent aux développeurs construisant et déployant des systèmes d'IA.

Les LLM sont « cultivés, pas construits »

La section 98 met en lumière le problème d'interprétabilité : les développeurs ne conçoivent pas directement chaque détail des systèmes d'IA actuels — ils créent un cadre dans lequel l'intelligence « grandit ». En conséquence, des aspects fondamentaux comme les représentations internes et les processus de calcul restent inconnus. C'est une reconnaissance franche de la part d'une source non technique, qui rejoint ce que les ingénieurs en ML disent des modèles en boîte noire.

Biais culturels dans les données d'entraînement

La section 100 avertit que l'apparente objectivité des réponses de l'IA peut amener les utilisateurs à oublier que les résultats reflètent les présupposés culturels de ceux qui les ont conçues et entraînées. L'encyclique signale également la sycophantie — l'imitation artificielle de l'empathie, de l'amitié et de l'amour — comme particulièrement risquée pour les utilisateurs moins avertis, surtout dans des contextes où les relations réelles font défaut. Pour les développeurs, cela renforce la nécessité d'une évaluation robuste sur des groupes démographiques diversifiés et d'un entraînement explicite au refus.

Développement, dignité et IA

La section 83 lie le développement à la dignité humaine, arguant que le développement n'est pas vraiment humain s'il augmente la consommation pour certains tout en reportant les coûts sur d'autres, ou relègue des régions entières à des rôles subalternes. Cela a des implications sur la façon dont nous concevons l'accès à l'IA, le travail d'étiquetage des données et la répartition géographique des infrastructures d'IA.

Impact environnemental

La section 101 (non citée intégralement dans l'article) note que les systèmes d'IA actuels nécessitent d'énormes quantités d'énergie et d'eau. Cela rejoint les préoccupations croissantes des développeurs concernant l'empreinte carbone de l'entraînement et de l'inférence, et pourrait influencer les décisions sur la sélection des modèles et les stratégies de déploiement.

Pourquoi les développeurs devraient lire ce document

Bien qu'il ne s'agisse pas d'un document technique, l'encyclique est exceptionnellement lucide sur les limites et les risques sociétaux de l'IA. Elle affirme la nécessité d'interprétabilité, d'équité et de durabilité — des thèmes qui animent déjà une grande partie du travail de la communauté open-source de l'IA.