인간은 AI의 판단을 어디까지 신뢰해야 할까? … 연세대 홍순만 연구팀 "재난관리 등 고위험 공공분야 인간의 개입·검증 필요"

연세대학교는 행정학과 홍순만 교수 연구팀이 인간과 인공지능(AI)의 의사결정 방식에 내재한 차이를 설명하기 위해 바둑을 분석 대상으로 삼아 AI의 위험 감수 성향을 분석한 결과, AI가 인간보다 위험 요소를 고려치 않고 기대 수익을 극대화하는 의사결정을 내렸다고 23일 밝혔다.

연구팀은 이런 차이가 AI가 종종 과도한 자신감을 보이며 오류를 산출하는 원인 중 하나일 수 있고, 이는 자칫 큰 판단 오류로 이어질 수 있다고 경고했다.

이번 연구는 홍 교수와 이상현 객원교수가 공동으로 진행했다.

연구는 연구팀이 개발한 바둑 AI와 유사한 기력을 지닌 아마추어 7단 기사의 대국 데이터를 수집·분석하는 방식으로 이뤄졌다. 분석 결과 AI는 위험 요소를 고려하지 않고 기대 수익을 극대화하는 '위험중립적' 전략을 취했다. 반면 인간은 기대 수익을 일부 포기하더라도 불확실성을 줄이려는 '위험회피적' 전략을 선호하는 경향이 있는 것으로 나타났다.

이번 연구는 AI가 인간과 다른 판단을 하는 원인 중 하나를 사회과학적 관점에서 분석했다는 점에서 주목된다. 특히 행정, 의료, 사회복지, 재난관리 등 고위험 공공 분야에 AI가 활용될 경우 이와 같은 위험중립적 판단이 새로운 사회적 위험으로 이어질 수 있다는 점을 시사했다.

연구팀은 앞으로 AI 시스템 설계에 있어 ▲시뮬레이션 기반 불확실성 저감 능력 강화 ▲오류 대비 안전장치 마련 ▲전문가 피드백 접목 등 책임 있는 AI 개발을 위한 제도적·윤리적 기준이 수립돼야 한다고 강조했다.

이번 논문은 '인간은 AI의 판단을 어느 수준까지 신뢰해야 하는가', '우리 사회는 AI의 결정을 어디까지 수용할 수 있는가'라는 근본적인 질문을 제기한다.

홍 교수는 "충분한 검증을 거치지 않은 AI는 얼핏 정교해 보일지라도 때로는 위험을 전혀 고려하지 않은 채 과감한 판단을 내려 치명적인 결과를 초래할 수 있다"고 경고했다. 예를 들어 프로 기사를 능가하는 바둑 AI가 초등학생도 쉽게 피할 수 있는 축을 놓치거나, 자신의 집을 메우는 등 비상식적인 실수를 저지르는 경우가 있다고 설명했다. 홍 교수는 "금융 투자, 자동 매매, 정책 시뮬레이션처럼 불확실성이 큰 분야에서는 AI의 판단을 신중히 검토하고, 인간의 개입과 검증이 필요할 수 있다"고 강조했다.

홍 교수는 AI와 인간의 판단 차이에 대해 "인간은 위기 상황에서 본능적으로 위험과 불확실성을 줄이려는 결정을 내리지만, AI는 목표 달성만을 향해 직진하는 경향이 있다"며 "AI의 판단을 무조건 신뢰하기보다 인간과의 협업과 상호 검증 체계가 함께 작동해야 한다"고 설명했다.

끝으로 홍 교수는 "AI 관련 연구는 매우 빠르게 변화하는 '무빙 타깃'과 같다"며 "사회과학자도 공학적 방법론에 더욱 적극적으로 접근해야 한다. 기술과 사회의 융합 연구는 앞으로 더욱 중요해질 것"이라고 전망했다.

이번 연구 성과는 국제학술지 '심리학과 AI 저널(Journal of Psychology and AI)'에 지난 22일 게재됐다.