Alto funcionario gubernamental de IA desconoce los LLM locales: relato de un desarrollador

Un desarrollador de la comunidad de LLM local recientemente pasó una hora con un alto líder gubernamental de IA de un país europeo pequeño. El líder, a pesar de tener un sólido trasfondo técnico, mostró poca conciencia de los casos de uso prácticos de LLM locales para empresas.

Desconexiones clave

• Soberanía de datos: El desarrollador planteó preocupaciones sobre la soberanía de los datos, pero el líder respondió con 'acuerdos de protección de datos de Copilot', aparentemente sin conocer las diferencias.
• Bufetes de abogados construyendo stacks locales: El desarrollador mencionó bufetes de abogados que leyeron grandes acuerdos de IA y eligieron LLM locales por seguridad de datos — esto fue una novedad para el líder.
• Riesgo de costos de API: Las empresas que dependen de las APIs de OpenAI/Anthropic son vulnerables si esas compañías aumentan los precios. El líder no había considerado esto.
• Inconsistencia del modelo: El mismo prompt a través de la API puede devolver respuestas diferentes — una preocupación empresarial por la reproducibilidad.
• Rechazo ético/ambiental: Algunas organizaciones evitan la IA grande debido a desalineación de valores o preocupaciones ambientales; los LLM locales ofrecen una alternativa.

El enfoque del líder estaba completamente en orientar a las empresas hacia proveedores de IA en la nube estadounidenses (Copilot se mencionó repetidamente). El desarrollador sugiere que la comunidad de LLM local necesita educar activamente a los altos líderes sobre los LLM locales como soluciones empresariales viables.