Chargé principal de l'IA gouvernementale ignore les LLM locaux : témoignage d'un développeur

Un développeur de la communauté des LLM locaux a récemment passé une heure avec un haut responsable gouvernemental en IA d'un petit pays européen. Le responsable, malgré un solide bagage technique, montrait peu de conscience des cas d'usage pratiques des LLM locaux pour les entreprises.

Principaux décalages

• Souveraineté des données : Le développeur a soulevé des préoccupations de souveraineté des données, mais le responsable a répliqué avec des 'accords de protection des données de Copilot', semblant ignorer les différences.
• Cabinets d'avocats construisant des infrastructures locales : Le développeur a cité des cabinets d'avocats qui lisent les gros accords sur l'IA et choisissent des LLM locaux pour la sécurité des données — cela était une nouveauté pour le responsable.
• Risque de coût des API : Les entreprises qui dépendent des API d'OpenAI/Anthropic sont vulnérables si ces entreprises augmentent leurs prix. Le responsable n'avait pas envisagé cela.
• Incohérence des modèles : La même requête via API peut renvoyer des réponses différentes — une préoccupation métier pour la reproductibilité.
• Rejet éthique/écologique : Certaines organisations évitent les grandes IA en raison d'un désalignement de valeurs ou de préoccupations environnementales ; les LLM locaux offrent une alternative.

Le responsable se concentrait entièrement sur l'incitation des entreprises à utiliser les fournisseurs d'IA cloud américains (Copilot était mentionné à plusieurs reprises). Le développeur suggère que la communauté des LLM locaux doit activement éduquer les hauts responsables sur les LLM locaux en tant que solutions commerciales viables.