[초거대 AI 혁명-②] "가짜뉴스·딥페이크 막아라"… 윤리문제 '도마 위'

초거대 인공지능(AI)이 급속도로 발전하면서 현실과 가상의 경계가 허물어지고 있다. 일반인도 클릭 몇 번으로 타인의 얼굴부터 목소리까지 손쉽게 복제 및 편집하는 시대가 열렸다. 가짜뉴스, 딥페이크, 보이스피싱도 덩달아 정교해지면서 초거대 AI ‘윤리’가 도마 위에 오르고 있다. 

AI 목소리 ‘딥 보이스(Deep Voice)’는 업계에 큰 파장을 일으키고 있다. 딥 보이스란 AI에 실제 사람의 음성을 학습시켜 만들어낸 가짜 목소리다. 미묘한 톤, 억양까지 똑같이 구현해 실제 목소리가 구분이 거의 불가능하다.

중국에서는 딥 보이스를 활용한 ‘영상 통화’ 사기가 유행이다. 지난 22일 중국의 한 IT 업체 대표는 친구로부터 영상 통화를 받았는데, 얼굴과 목소리가 친구와 똑같아 8억원이라는 거액을 송금했다. 뒤늦게 딥 보이스와 딥 페이크를 이용한 사기라는 것을 알아차리고 당국에 신고 및 은행 계좌를 정지했지만 이미 1억7000만원이 빠져나간 뒤였다. 

한국에서도 딥 보이스로 인해 보이스피싱이 점점 교묘해지고 있다. 경찰청은 지난해 10월 딥 보이스를 이용한 보이스피싱을 주의하라는 공익 영상을 내보냈을 정도다. 해당 영상 속 어머니는 ‘휴대폰 수리비 80만원을 보내달라’는 딸의 전화를 받지만, 목소리의 주인은 딸로 둔갑한 사기단이었다. 과거 보이스피싱은 어설픈 한국어로 낌새를 알아차릴 수 있지만, 딥 보이스로 익숙한 지인의 목소리 도용이 가능해지면서 분간이 어려워지고 있다.

아이돌의 목소리로 음란물을 제작하는 이른바 ‘섹테(섹스 테이프)’도 딥 보이스의 오용 사례로 지적된다. 일부 극성팬들은 수년 전부터 딥 보이스를 이용해 아이돌의 목소리를 포르노 영상에 입히는 등 악용해왔는데, 딥 보이스 기술이 대중화되면서 아이돌 피해 사례도 덩달아 늘어날 것으로 예측된다. 

언론도 비상이 걸렸다. AI가 생성한 감쪽같은 사진으로 인해 오보 사태가 늘고 있다. 미국에서는 지난 22일 국방부 청사 펜타곤에서 검은 연기가 피어오르는 사진이 SNS를 통해 퍼져 증시가 출렁이는 소동이 있었다. 2002년 9·11 테러를 연상하게 하는 해당 이미지는 딥 페이크로 생성된 것이었는데, 이를 실제 상황으로 오인하고 일부 언론매체들이 보도한 것이다. 당시 다우존스 30 산업평균지수, 스탠다드앤드푸어스(S&P) 500지수 등이 순간 하락한 것으로 알려졌다. 

정치권도 가짜뉴스를 경계하고 있다. 내년 대선을 앞둔 미국, 총선을 앞둔 영국과 한국은 비상이 걸렸다. 실제 미국에서는 AI로 인한 가짜뉴스로 최근 홍역을 치렀다. 

지난 1월 조 바이든 미국 대통령은 비디오 조작 사태를 겪었다. 특정 집단이 생성 AI로 바이든 대통령 음성을 조작해 인터넷에 퍼뜨렸다. 바이든 대통령은 원본 비디오 영상에서 "우크라이나를 돕기 위해 탱크를 지원하자"고 발언했다. 해당 집단은 이 장면을 음성 생성 AI 기술을 통해 트랜스젠더에 대한 공격을 담은 발언으로 변형했다.

최종원 중앙대 영상학과 교수는 "이전에는 사람 눈으로 딥페이크를 판별할 수 있었지만 지금은 딥페이크 기술 고도화로 판별할 수 없다"고 말했다. 이어 "이미지 생성 AI가 주목받지만, 딥페이크로 인해 가짜뉴스·이미지 생성도 우후죽순으로 늘어났다"며 "더 교묘한 딥페이크 판별 알고리즘을 통해 이를 방지해야 한다"고 강조했다.