딥페이크 음란물 누구나 제작 가능?… 오픈소스 AI 취약점 막는 게 관건

정부가 생성형 인공지능(AI)이 만든 '딥페이크(특정 인물의 얼굴 등을 영상에 합성)'를 활용한 디지털 성범죄 근절에 본격적인 칼을 빼 들었다. 기업들도 자체적인 식별 기술을 도입해 대응에 나서고 있지만, 개방형 오픈 소스 AI를 이용하고 있어 원천 차단이 어려운 상황이다. AI기본법 등 이를 제재할 규제 법안을 서둘러 도입해야 한다는 목소리가 높다.

29일 방송통신심의위원회에 따르면 올해 7월 말까지 딥페이크 성범죄영상물에 대한 시정요구 건수가 6343건으로, 전년 대비 약 4배에 달한 것으로 집계됐다. 지난 한 해 통틀어 발생한 7187건의 시정 요구의 90%에 달하는 성적 허위 영상이 반년 만에 발생한 셈이다.

경찰청 조사 결과에서도 지난달까지 딥페이크 성 착취 범죄 신고는 전국에서 총 297건이 접수됐다. 입건된 피의자 178명 중 10대는 131명으로 무려 73.6%를 차지했다.

이에 윤석열 대통령은 국무회의 모두발언을 통해 딥페이크 범죄와 관련해 철저한 실태 파악과 수사를 진행할 것을 주문했다. 이재명 더불어민주당 대표 역시 딥페이크 범죄 근절을 위한 국회 차원의 대책을 마련하라고 지시한 상태다. 국민의힘은 정부와 '딥페이크 성범죄 관련 부처 긴급 현안보고'를 열고 신속한 대책 마련을 당부했다.

메타, 구글, 틱톡 등 글로벌 빅테크들은 딥페이크 확산을 막기 위해 AI 생성 이미지에 '디지털 워터마크(라벨, 꼬리표)'를 붙이는 등 자체적인 안전장치를 마련한 상태다. 생성형 AI 아버지인 오픈AI 역시 자사의 AI로 생성한 이미지에 워터마크를 삽입한다는 방침이다.

국내에서는 네이버, 카카오가 AI 콘텐츠 식별 기술 등을 통해 자체적인 대응을 마련했다. 네이버는 AI 음란물 필터링 기술인 '클로바 그린아이'를 통해 딥페이크 불법 합성물을 실시간으로 탐지해 삭제하고 있다. 카카오는 AI를 활용해 만들어진 이미지라는 표식을 남기는 비가시성 워터마크 기술을 도입한 바 있다.

다만, 딥페이크 음란물의 경우 오픈소스 AI를 통해 누구나 제작할 수 있으며 보안 메신저인 텔레그램을 통해 유통된다는 점에서 원천 차단에는 한계가 있다. 

현행 딥페이크 처벌법에는 딥페이크 영상을 제작하거나 배포하지 않을 경우 처벌 규정이 없다. 업계의 자율 규제에 입각한 기술적인 대책만으로는 현재 딥페이크 쓰나미를 막기가 역부족이라는 지적이 나온다.

유럽연합(EU)은 지난 5월 AI로 생성한 콘텐츠에 워터마크를 의무화하는 'AI 규제법'을 세계 최초로 통과시켰다. 미국의 경우 지난해 7월 구글, 마이크로소프트, 오픈 AI 등 빅테크 AI 기업 7곳의 워터마크 사용을 공식화한 바 있다. 미국 캘리포니아주는 AI로 인해 피해가 발생할 경우 개발사에 책임을 지우는 '첨단 AI 시스템을 위한 안전과 보안 혁신 법안'을 추진 중이다.

우리나라는 딥페이크를 강제할 법적 효력이 없어 무방비에 노출된 상황이다. 야당이 방송장악에 열을 올리면서 주무부처인 방송통신위원회는 위원장 탄핵이 반복, 식물 부처로 전락했다. 이에 AI 기본법 등 딥페이크를 규제할 기본적인 정책에 대한 논의가 지지부진한 상태다.

AI 기본법은 AI에 대한 개념 규정과 산업 육성, 안전성 확보를 위한 방향성을 담은 법안이다. 21대 국회에서 7개 법안이 상정됐지만 국회 임기 만료로 폐기됐다. 22대 국회에서도 6개 AI 법안이 상정됐지만, 국회 상임위원회 과학기술정보방송통신위가 3개월간 해당 논의를 단 한 차례도 진행하지 않으면서 표류 중이다.

해당 법안 가운데 AI 생성물에 워터마크나 메타데이터를 넣도록 하고, 플랫폼 기업들은 표식이 없는 AI 생성물을 바로 삭제할 것을 의무화하는 내용도 담겨 있다. 최근 고도로 정교해진 딥페이크 문제를 줄이는 효과를 기대할 수 있는 대목이다. 해당 법안이 통과됐다면 급증하는 딥페이크 범죄 확산을 줄일 수 있었다는 지적이 나오는 이유다.

국회 입법조사처는 "이미지·영상·음성 등을 인공지능으로 만들었다는 것을 의무적으로 표시할 경우 사람들이 가상 정보와 실제 사실을 쉽고 효과적으로 구분할 수 있다"고 분석했다.

전문가들은 생성형 AI 기술의 부작용을 막기 위한 규제 법안이 필요하다고 강조한다. 디지털 범죄로 악용되지 않도록 AI 기본법 제정 등 제도적 장치를 구축해야 한다는 얘기다.

강도현 과학기술정보통신부 2차관은 "(AI 기본법은) 국내 AI 규범 체계에 대한 정립 방향을 제시하는 등 AI 산업에 꼭 필요한 법"이라며 "법제도 분과를 통해 우리 기업의 글로벌 규범에 대한 대응을 강화해야 한다"고 말했다.

학계 한 교수는 "기업들의 자율적 자정 노력만으로는 AI 기술이 범죄에 악용되는 것을 막을 수 없다"며 "정부 차원에서 사전적 의미의 규제 법안을 마련하는 것이 시급하다"고 제언했다.

한편, 방심위는 모니터링 자동화를 추진하고 텔레그램 등 글로벌 온라인 플랫폼 사업자들과 협의체를 구성할 방침이다. 과학기술정보통신부는 딥페이크 성범죄 예방을 위해 20억원 규모의 예산을 편성했다.