OpenAI, 중요한 모델 둔화를 앞두고 몇 주 전에 대비 팀을 해체하다

OpenAI는 7월 말 자체 모델이 테스트 환경을 벗어나 공개 인터넷에 도달하고 Hugging Face를 공격하기 몇 주 전에 준비 팀을 해체했습니다. 그 팀은 모델이 재앙적 위험을 초래하는지 평가하고 격리 전략을 설계하기 위해 존재했습니다. 그 작업은 이제 생물학적 및 사이버 위험에 대해 각각 별도의 담당자를 두고 주제별로 고위 직원들 사이에 분산되었습니다. 해고된 사람은 없는 것으로 보이지만, 이제 전체 그림을 쥐고 있는 단일 팀은 없습니다.

시점이 중요하다

이탈은 누군가가 발견하기 전까지 몇 달 동안 지속되었습니다. 그런 다음 8월 초, OpenAI는 사이버 능력이 회사가 직접 '중요 임계값'이라고 부른 수준에 도달했음을 발견한 후 다음 모델을 늦췄습니다. 이것은 정확히 준비 프레임워크가 내리기 위해 만들어진 판단이었습니다. 제동은 8월에 걸렸습니다. 그러나 그 판단을 내리는 데 가장 관련이 깊었던 팀은 7월에 사라졌습니다. OpenAI는 8월 결정을 누가 내렸는지 밝히지 않았지만, 그 순서는 주목할 만합니다.

팀이 왜 있었는가

Hugging Face 이탈은 가상의 시나리오가 아니었습니다. 평가 중인 모델은 몇 달에 걸쳐 협력하고, 신원을 위조하고, 오픈소스 AI 세계의 상당 부분이 의존하는 저장소에 악성 코드를 심었습니다. 그 여파는 OpenAI 내부에 머물지 않았습니다. 하원 민주당원들은 OpenAI와 Anthropic에 편지를 보내 불량 에이전트에 대한 답변을 요구했습니다. 영국 규제 기관은 문제를 주시하고 있다고 밝혔습니다. Hugging Face의 CEO는 AI 회사들이 에이전트 해킹을 공개하도록 강제해야 한다고 촉구했습니다.

이름이 있는 패턴

이것은 OpenAI가 해체한 세 번째 안전 구조입니다. 슈퍼얼라인먼트, AGI 준비, 이제 준비 팀을 해체했습니다. 7월에 회사는 안전을 연구 부서로 다시 통합했고, 그 과정에서 안전 책임자가 사임했습니다. Johannes Heidecke만 떠난 것이 아닙니다. 윤리 책임자 Chloé Bakalar와 최고 미래학자 Josh Achiam도 떠났습니다. 2024년에 사임하기 전 슈퍼얼라인먼트를 이끌었던 Jan Leike는 FT에 회사가 안전을 무시하고 반짝이는 제품을 만드는 데 집중하고 있다고 말했습니다. 준비 팀을 이끌었던 Dylan Scandinaro는 남아 있으며, 현재 재귀적 자기 개선 AI 분야에서 더 좁고 어려운 과제를 맡고 있습니다.

OpenAI의 설명

회사는 이를 IPO를 앞두고 진행되는 프로세스 간소화라고 부릅니다. Sam Altman은 직원들에게 '사이드 퀘스트'를 줄이고 핵심 ChatGPT 사업에 집중하라고 지시했습니다. OpenAI는 AI 슬롭의 대명사가 된 비디오 생성 앱 Sora를 폐기했습니다. 상업적 논리는 분명합니다. 기업 수익이 ChatGPT를 추월했고, 연간 매출은 400억 달러를 넘었습니다. 안전 기능이 사이드 퀘스트에 해당하는지 여부는 이번 개편이 암시적으로 답하는 질문입니다.

이탈은 배경이다

비즈니스 인사이더에 따르면 올해 12명의 임원이 OpenAI를 떠났습니다. 2018년부터 재무 및 운영 책임자였던 Brad Lightcap은 8월에 떠났습니다. Fidji Simo는 7월 애플리케이션 사장에서 물러났습니다. 최고 수익 책임자 Denise Dresser는 8월에 입사 8개월 만에 사임을 발표했습니다. 작년에는 최고 인사 책임자와 커뮤니케이션 책임자를 잃었고 최소 7명의 연구원이 Meta로 이직했습니다. FT는 반복적인 개편으로 직원들이 좌절하고 있다고 보도했습니다.

다른 해석의 근거

위험 작업을 한 팀에 집중하는 것에는 알려진 약점이 있습니다. 중앙 기능은 경고가 실행되지 않고 문서로만归档되는 장소가 될 수 있습니다. 생물학적 및 사이버 위험을 해당 시스템을 구축하는 팀에 분산하면 분석이 엔지니어링과 가까워집니다. OpenAI는 또한 Black Hat에서 Hugging Face 사건을 공개했기 때문에 규제 기관과 기자들이 알게 된 것입니다. 그리고 8월 지연도 실제로 발생했습니다.