'불수능·물수능 걸러질까' … 가톨릭대 김강민 교수팀, 출제자 아닌 수험생 입장서 시험 난이도 예측하는 AI 기술 개발

가톨릭대학교는 데이터사이언스학과·인공지능학과 김강민 교수 연구팀이 챗GPT와 같은 초거대 언어모델(LLM)을 활용해 시험문제별 예상 난이도를 효과적으로 예측하고 배점을 돕는 인공지능(AI) 기술을 개발했다고 1일 밝혔다.

그동안 많은 교육기관에서 시험 문제를 내고 점수를 배정할 때 출제자의 정성적 평가에 의존하는 경우가 많았다. 학생들이 느끼는 난이도를 반영하기 어려웠다. 이를 보완하기 위해 학생들의 방대한 문제 풀이 기록 데이터를 바탕으로 문항별 난이도를 측정하고 배점을 달리하는 문항 반응 이론(IRT)이 텝스(TEPS) 등의 시험에 활용됐으나, 학생들의 문제 풀이 기록을 사전에 수집해야만 적용할 수 있다는 한계가 있었다.

김 교수 연구팀은 학생 집단의 문제 풀이 기록 수집 과정을 65개 LLM으로 대체해 학생에게 사전에 문제를 노출하지 않고도 대상 학생 집단의 체감 난이도를 예측할 수 있는 AI 시스템(LLaSA)을 개발했다.

LLaSA는 LLM에 IRT를 적용해 문제 난이도 예측 성능을 높였다. 연구팀은 다양한 분야와 형식의 문제를 풀 수 있는 65개의 LLM 중 실제 학생의 능력 정보와 가장 유사한 것으로 선정된 언어모델이 학생을 대신해 문제를 풀도록 했다. 이후 LMM의 문제 풀이 기록을 바탕으로 문항별 난이도에 따라 효과적으로 배점을 달리하도록 설정했다.

연구 결과 LLaSA는 문제의 내용만을 분석하는 기존 AI 기반 방법론보다 문제 난이도 예측 성능이 8~23% 높게 나타났다. 또한 학생 집단의 구성 변화에 언어모델 구성을 조정하면서 탄력적으로 대응할 수 있어 범용성이 뛰어났다.

이번 연구 결과는 지난달 12일 미국 마이애미에서 열린 세계 최고 권위의 자연어처리 학회 'EMNLP 2024'에서 포스터 발표를 통해 처음 공개되고 'EMNLP 2024 Findings' 논문집에 게재되며 우수성을 인정받았다.

이번 연구엔 정보통신전자공학부 학사과정 박재우, 인공지능학과 학·석사 연계과정 박성진 학생이 공동 제1저자로 참여했다.

김 교수는 "이번 연구로 학생들의 문제 풀이 능력을 LLM을 활용해 효과적으로 모사할 수 있다는 게 확인됐다. 교육현장에 과학적인 문제 난이도 예측 시스템을 적용해 시험 변별력을 높일 수 있을 거로 기대된다"고 말했다. 이어 "2020년과 2021년 각각 신설한 인공지능학과와 데이터사이언스학과에서 학부생들이 세계적 수준의 연구결과를 내놓아 매우 뜻깊다"고 덧붙였다.

한편 이번 연구는 한국연구재단 우수신진연구지원사업의 하나로 진행됐다.