'다중모달 거대언어모델의 환각 문제 완화 연구' 논문디코딩 과정만으로 환각 문제 완화하는 'ConVis' 기법 제시AI 모델 신뢰성·실용성 저해하는 환각 문제의 효과적 완화 증명추가 데이터 수집 등 불필요 … 기존 시스템에 간단히 적용 가능
-
- ▲ (좌측상단부터 시계방향) 최준석 컴퓨터공학과 교수, 박예지 석박통합 학생, 경제학과 이덕영 학생, 장부루 인공지능학과 교수.ⓒ서강대
서강대학교는 컴퓨터공학과 최준석 교수 연구실의 박예지 석박통합 학생과 인공지능학과 장부루 교수 연구실의 이덕영(경제학과 22학번) 학생이 수행한 '다중모달 거대언어모델(Multimodal Large Language Models, MLLMs)의 환각 문제 완화 연구'가 AAAI 인공지능 콘퍼런스(AAAI 2025)의 주요 기술 트랙에 수락됐다고 15일 밝혔다.AAAI(Association for the Advancement of Artificial Intelligence)는 인공지능 분야에서 세계적으로 권위 있는 학술대회다. 다음 달 25일부터 3월 4일까지 미국 필라델피아에서 개최될 예정이다. -
- ▲ 논문 개요도.ⓒ서강대
이번 논문은 추가 학습 없이 디코딩 과정만으로 환각 문제를 완화하는 대조적 디코딩 기법 'ConVis'를 제안했다. ConVis는 텍스트-이미지 생성 모델이 생성한 캡션으로 이미지를 복원한 뒤 복원된 이미지와 원본 이미지 간의 대조적 확률 분포를 비교해 환각 신호를 억제하는 방식이다.실험 결과 ConVis는 5가지 주요 벤치마크에서 기존 방법보다 우수한 성능을 입증하며 AI 모델의 신뢰성과 실용성을 저해하는 환각 문제를 효과적으로 완화할 수 있음을 보여줬다.추가적인 데이터 수집이나 복잡한 학습 과정 없이 기존 시스템에 간단히 적용할 수 있다는 점에서 실제 응용 환경에서의 활용 가능성을 높일 것으로 기대된다. 또한 MLLM의 환각 문제를 해결하기 위한 새로운 접근법을 제시하며 학계와 산업계에서 MLLM 활용 논의에 중요한 기여를 할 것으로 전망된다.이번 연구는 최 교수와 장 교수가 교신저자, 박예지, 이덕영 학생이 공동 1저자로 참여했다. -
- ▲ 서강대학교 전경. 우측 하단은 심종혁 총장.ⓒ서강대
