정부 AI 책임자, 국내 LLM 인식 부족: 한 개발자의 증언

로컬 LLM 커뮤니티의 한 개발자가 최근 작은 유럽 국가의 정부 고위 AI 리더와 한 시간 동안 대화를 나누었다. 강력한 기술 배경에도 불구하고, 그 리더는 기업을 위한 실용적인 로컬 LLM 사용 사례에 대한 인식이 거의 없었다.

주요 단절점

• 데이터 주권: 개발자가 데이터 주권 문제를 제기했지만, 리더는 'Copilot 데이터 보호 계약'으로 반박하며 차이점을 인지하지 못하는 듯했다.
• 로컬 스택을 구축하는 법률 회사: 개발자는 큰 AI 계약을 읽고 데이터 보안을 위해 로컬 LLM을 선택한 법률 회사를 언급했으며, 이는 리더에게 새로운 소식이었다.
• API 비용 위험: OpenAI/Anthropic API에 의존하는 기업은 해당 회사가 가격을 인상할 경우 취약해진다. 리더는 이를 고려하지 않았다.
• 모델 불일치: 동일한 프롬프트를 API를 통해 입력하면 다른 답변이 반환될 수 있으며, 이는 재현성을 중요시하는 기업에 문제가 된다.
• 윤리적/친환경적 반발: 일부 조직은 가치관 불일치나 환경 문제로 인해 빅 AI를 피하며, 로컬 LLM이 대안을 제공한다.

리더의 초점은 전적으로 기업을 미국 클라우드 AI 공급자(Copilot이 반복적으로 언급됨)로 유도하는 것이었다. 개발자는 로컬 LLM 커뮤니티가 로컬 LLM을 실행 가능한 비즈니스 솔루션으로 고위 리더들에게 적극적으로 교육할 필요가 있다고 제안한다.