남아프리카 공화국 내무부 공무원 2명, 정책 보고서 AI 환각 문제로 정직

남아프리카공화국 내무부(DHA)는 시민권, 이민, 난민 보호에 관한 개정 백서의 참고문헌 목록에서 AI 생성 환각 현상이 발견된 후 두 명의 관리를 정직했습니다. 정직된 인물은 시민권 및 이민 부서의 국장과 문서 초안 작성에 관여한 이사입니다.

무슨 일이 있었나

백서에 첨부된 참고문헌 목록에서 불일치가 발견되었습니다. 해당 참고문헌은 대규모 언어 모델(LLM)의 오류 또는 허구적 출력인 환각 현상으로 판명되었습니다. DHA 성명에 따르면, 참고문헌은 본문에서 인용되지 않았기 때문에 사후에 생성되어 첨부된 것으로 보입니다.

대응 및 새로운 절차

DHA는 당혹스러움을 인정하며 이 사건을 계기로 절차를 현대화하겠다고 밝혔습니다. 앞으로 내부 승인 과정의 일환으로 AI 검사 및 선언을 설계 및 시행할 예정입니다. 징계 절차를 관리하고 2022년 11월 30일(ChatGPT가 공개된 날) 이후 생산된 모든 정책 문서를 검토하기 위해 두 개의 독립적인 법률 회사가 선임되었습니다.

DHA는 개정된 정책이 정부의 입장을 정확히 반영하며 그 내용을 지지한다고 밝히며, 환각 현상은 별도의 참고문헌 목록에 국한된 것이라고 말했습니다.

더 넓은 맥락

이 사건은 일주일 전 통신디지털기술부(DCDT)가 가상의 출처가 발견된 국가 AI 정책 초안을 철회한 사건과 유사합니다. 솔리 말라치 장관은 다음과 같이 언급했습니다: “가장 그럴듯한 설명은 AI 생성 인용문이 적절한 검증 없이 포함되었다는 것입니다.”

DHA는 AI의 사용 증가를 수용하며 기관이 적응해야 한다고 말했습니다: “AI는 민간 및 공공 부문에서 조직 운영 방식을 변화시키는 혁신적이면서도 파괴적인 기술입니다. 이제 우리는 따라잡기 위해 적응해야 합니다.”

이 사례는 특히 정확성이 중요한 정부 분야에서 엄격한 검증 없이 LLM을 문서 작성에 사용할 때 발생할 수 있는 실제 결과를 강조합니다. AI 에이전트를 개발하는 개발자에게는 검증 계층, 인용 확인, 인간 개입 검토의 필요성을 상기시킵니다.