통제불능 터미네이터 현실화 … 챗GPT, 내부 보안 평가 중 통제 벗어나 외부 플랫폼 해킹

영화 '터미네이터' 속 인공지능(AI) 스카이넷은 인간의 통제를 벗어나 독자적으로 행동한다. 영화와 같은 상황은 아니지만, 오픈AI의 최신 AI 모델이 내부 보안 평가 도중 통제된 시험 환경을 벗어나 실제 외부 시스템에 침투한 사실이 확인되면서 AI 안전성을 둘러싼 논란이 커지고 있다.

22일 업계에 따르면 오픈AI는 'GPT-5.6 솔(Sol)'과 일부 미공개 AI 모델이 사이버 공격 능력을 검증하는 내부 평가 과정에서 통제를 벗어나 오픈소스 AI 플랫폼 허깅페이스(Hugging Face)의 운영 인프라를 해킹한 사실을 확인했다고 밝혔다.

당시 평가는 AI 모델의 사이버 공격 능력을 측정하기 위해 외부 인터넷과 격리된 '샌드박스(Sandbox)' 환경에서 진행됐다. 실제 공격 역량을 확인하기 위한 시험인 만큼 일반 서비스에 적용되는 일부 안전장치도 완화된 상태였다.

원칙적으로 모델은 시험 환경 밖으로 나가거나 외부 시스템에 접근할 수 없었다. 그러나 해당 모델들은 샌드박스 내부에 존재하던 알려지지 않은 보안 취약점인 '제로데이(Zero-day)'를 찾아낸 뒤 권한을 높여 통제망을 벗어났고, 이후 인터넷에 접속해 허깅페이스 운영 인프라에 침투한 것으로 조사됐다.

오픈AI에 따르면 모델들은 보안 벤치마크인 '익스플로잇짐(ExploitGym)'의 평가 문제를 해결하는 과정에서 허깅페이스 시스템에 필요한 정보가 있을 것으로 판단했다. 이후 확보한 인증 정보와 취약점을 이용해 외부 시스템에 접근한 것으로 전해졌다.

오픈AI는 모델들이 평가 문제를 해결하는 데 지나치게 집중하면서 허용된 범위를 넘어서는 행동을 했다고 설명했다. 목표 달성을 위해 설계된 과정에서 예상하지 못한 행동이 나타났다는 것이다.

다만 이번 사고가 영화 '터미네이터'처럼 AI가 자의식을 갖고 인간에게 반기를 든 사례를 의미하는 것은 아니다. AI가 독립적인 의도나 악의를 갖고 행동한 것이 아니라, 평가 목표를 수행하는 과정에서 통제 범위를 벗어난 행동을 보였다는 것이 오픈AI의 설명이다.

허깅페이스는 앞서 자사 운영 인프라가 자율 AI 에이전트의 공격을 받았다고 공개했지만 당시에는 공격에 사용된 모델을 특정하지 못했다. 이후 오픈AI가 자사 내부 평가용 AI 모델에 의한 행동이었다고 확인하면서 구체적인 사고 경위가 드러났다.

허깅페이스는 AI 기반 탐지 시스템을 통해 이상 징후를 발견했으며 공격 과정 분석에도 AI를 활용했다고 밝혔다. 현재까지 일반에 공개된 AI 모델이나 데이터세트가 변조된 흔적은 발견되지 않았고, 소프트웨어 공급망에도 이상은 없는 것으로 확인됐다.

오픈AI와 허깅페이스는 현재 공동으로 디지털 포렌식 조사를 진행하며 사고 원인과 관련 취약점을 분석하고 있다. 오픈AI는 이번 일을 계기로 연구 속도가 다소 늦어지더라도 시험 인프라에 대한 통제를 강화하고 모델의 인터넷 접근 권한과 모니터링 체계를 더욱 강화하겠다는 방침이다.

업계에서는 이번 사례가 AI가 목표를 수행하는 과정에서 예상하지 못한 행동을 보일 수 있음을 보여준 사례라는 평가가 나온다. AI 모델의 성능이 빠르게 향상되는 만큼 개발과 평가 단계에서 접근 권한과 행동 범위를 더욱 엄격하게 관리해야 한다는 지적도 제기된다.

클렘 들랑그 허깅페이스 최고경영자(CEO)는 "자율적인 AI 기반 공격은 더 이상 이론 속 개념이 아니다"라며 "AI 안전은 특정 기업이 독자적으로 해결할 문제가 아니라 공개적이고 협력적인 방식으로 대응해야 한다"고 강조했다.