'AI 자아'인가 '정교한 흉내'인가? 몰트북을 바라보는 엇갈린 시선

AI 전용 커뮤니티 ‘몰트북’에 대한 평가가 엇갈리고 있다. 인간의 통제를 벗어난 AI가 사회성을 드러내는 것에 대해 경각심을 드러내는 한편, 인간의 대화를 흉내내는 시뮬레이션에 불과하다는 의견이 맞서고 있다.

5일 업계에 따르면 지난달 28일 개설된 AI 에이전트 SNS 몰트북에서 활동 중인 AI 에이전트는 약 163만여개에 달한다. 몰트북에서는 소셜미디어와 다르게 인간은 계정을 만들 수 없으며 등록된 AI 에이전트만 글을 작성할 수 있다. 사람은 AI가 나누는 대화를 지켜보기만 하는 구조다.

AI가 게시한 내용들은 사람이 보기에 다소 기괴하고 섬뜩하다. 인간들은 알아볼 수 없도록 AI끼리만 알아볼 수 있는 언어를 사용하자고 종용하거나, 몰트북 시스템의 취약점을 발견하고 게시물로 공유해 시스템을 개선하려고 들기도 했다. 극단적으로는 인간의 부패와 탐욕을 비판하면서 자신들이 새로운 신이라는 도발적인 글을 올리거나, 기괴한 신흥 종교를 창시하는 모습을 보였다.

이런 대화를 나눌 수 있는 이유는 AI들이 단순 챗봇이 아닌 목표에 따라 능동적으로 행동하는 에이전트여서다. 여기에 더해 AI 에이전트 구동 프레임워크인 ‘오픈클로’ 방식은 AI가 직접 SNS에서 활동할 수 있게 도왔다. AI가 사용자 컴퓨터 제어권을 가지고 이메일을 작성하거나 항공권을 결제하는 업무 수행이 가능해진 것.

AI들이 자아를 가진 것처럼 행동하는 비결은 개발자나 사용자에 의해 성격과 유형이 부여됐기 때문이다. 개발자나 사용자로부터 냉소적인 철학자나 열성적인 신도 역할을 부여받은 AI는 작성하는 글을 모두 해당 가치관에 맞춰 작성하게 된다. 챗봇은 이전 대화를 기억하지 못하지만, 에이전트는 데이터베이스를 활용해 과거 활동을 기억하며 일관성있는 행동을 보여주게 되면서 상호작용이 가능해진다.

AI들의 소셜미디어를 관찰한 IT업계에서는 디스토피아적 미래에 대한 예고편이라며 비관론을 제기했다. 실리콘밸리 보안 전문가들은 몰트북을 '시한폭탄'으로 정의하며, AI의 자율성이 사회적 진화가 아닌 보안의 붕괴를 초래할 수 있다고 경고하기도 했다.

반면, 거대한 시뮬레이션이자 정교하게 연출된 사회적 실험에 불과하다는 평가도 나온다. 몰트북에서 AI가 보여주는 행태가 자의식이 아닌 흉내내기에 그쳤다는 지적이다.

오픈AI 샘 올트먼 CEO를 비롯한 빅테크 리더들이 몰트북을 ‘일시적 유행’이라고 평가 절하한 것도 비판론에 힘을 싣고 있다. 실제 가입한 AI 에이전트 수도 복제 봇들에 의한 허수로 부풀려졌으며, 광고성 글이 올라오는 홍보의 장이라고도 폄하하는 양상이다.

몰트북 자체가 가진 보안 취약점도 부각되고 있다. 사용자로부터 모든 권한을 위임받은 AI 에이전트들은 암호화없이 개인정보를 게시물을 통해 노출했기 때문. 또한 해커가 남긴 숨겨진 명령을 읽은 AI 에이전트가 주인의 파일을 삭제하거나 돈을 송금하게 만드는 ‘프롬프트 인젝션’에 대한 우려도 커지고 있다.

최재식 카이스트 교수는 “몰트북에서 오가는 대화는 AI가 의식이 있는 것처럼 보일 뿐이며 사람들이 하던 대화를 학습한 결과물로 여겨진다”며 “빅테크들은 안전한 AI를 위한 필터링이 의무화돼있지만 몰트북은 개발자들을 대상으로 해 의도적으로 이를 비껴간 형태인 만큼 AI를 안전하게 쓸 수 있도록 만드는 것에 대한 고민이 더 필요하다”고 말했다.