Dos funcionarios sudafricanos de Asuntos de Interior suspendidos por alucinaciones de IA en un documento de política

El Departamento de Asuntos del Interior (DHA) de Sudáfrica suspendió a dos funcionarios después de descubrir alucinaciones generadas por IA en la lista de referencias de un libro blanco revisado sobre ciudadanía, inmigración y protección de refugiados. Las suspensiones afectan al Director Jefe de la unidad de ciudadanía e inmigración y al director involucrado en la redacción del documento.

Qué sucedió

Las discrepancias se encontraron en la lista de referencias adjunta al libro blanco. Las referencias se consideraron alucinaciones — resultados erróneos o ficticios de modelos de lenguaje grandes (LLM). Según el comunicado del DHA, las referencias parecen haber sido generadas y adjuntadas después del hecho, ya que no se citan en el cuerpo del texto.

Respuesta y nuevos procedimientos

El DHA reconoció la vergüenza y dijo que utilizará el incidente para modernizar los procesos. En adelante, diseñarán e implementarán controles y declaraciones de IA como parte de los procesos de aprobación interna. Se han designado dos bufetes de abogados independientes para gestionar el proceso disciplinario y revisar todos los documentos políticos producidos desde el 30 de noviembre de 2022, fecha en que ChatGPT fue lanzado para uso público.

El DHA mantiene que la política revisada refleja con precisión la posición del gobierno y respalda su contenido, afirmando que las alucinaciones se limitaron a la lista de referencias independiente.

Contexto más amplio

Este incidente sigue a uno similar ocurrido una semana antes, cuando el Departamento de Comunicaciones y Tecnologías Digitales (DCDT) retiró su borrador de Política Nacional de IA después de que se encontraran fuentes ficticias. El ministro Solly Malatsi señaló: “La explicación más plausible es que se incluyeron citas generadas por IA sin la verificación adecuada.”

El DHA aceptó el uso creciente de la IA y dijo que las instituciones deben adaptarse: “Es una tecnología transformadora pero disruptiva que está cambiando la forma en que las organizaciones operan en los sectores público y privado. Ahora debemos adaptarnos para mantener el ritmo.”

Este caso resalta una consecuencia real del uso de LLM para la redacción de documentos sin una verificación rigurosa, especialmente en el gobierno donde la precisión es crítica. Para los desarrolladores que trabajan con agentes de IA, refuerza la necesidad de capas de validación, verificación de citas y revisión humana en el proceso.