서강대 최준석 교수팀, AI가 새 단어·객체 학습하는 OVS 모델 한계 개선 … 성능 저하 없이 학습능력 확장

서강대학교는 컴퓨터공학과 최준석 교수 연구팀이 수행한 지속 가능한 개방 어휘 분할(Open-Vocabulary Segmentation, OVS) 모델 연구가 세계 최고 수준의 인공지능(AI)·기계학습(ML) 학술대회 중 하나인 '뉴럴 인포메이션 프로세싱 시스템스(Neural Information Processing Systems, NeurIPS·신경정보처리시스템 학회)'에 채택돼 발표된다고 14일 밝혔다.

1987년부터 시작된 NeurIPS는 AI와 기계학습 분야의 발전을 이끌어 왔다. NeurIPS 2025는 이달 30일부터 다음 달 7일까지 미국 샌디에이고와 멕시코시티에서 열릴 예정이다.

OVS는 학습 시 기존 배운 것에 제한되지 않고 새로운 단어, 객체도 인식할 수 있게 이미지를 분할하는 기술을 말한다. 이번 연구 논문 'OVS와 지속학습의 만남: 지속 가능한 개방 어휘 분할을 향하여'는 추가 학습 데이터가 주어질 때 기존의 fine-tuning(미세조정), retraining(재학습), continual learning(지속학습) 접근법이 OVS 모델의 인식 능력을 충분히 확장하지 못한다는 한계를 지적한다.

연구팀은 이를 해결하기 위해 OVS용 연속학습 프레임워크 'ConOVS'를 제안한다. ConOVS는 입력 샘플에 따라 디코더 가중치를 동적으로 병합하는 전문가 조합(Mixture-of-Experts) 전략을 사용한다. 새로운 데이터셋이 추가될 때마다 디코더를 경량 미세조정하고, 샘플 단위로 원본 모델과 전문가(Expert) 디코더 사이의 가중치 보간/병합을 수행해 기존 모델의 성능 저하 없이 능력을 확장한다. 쉽게 말해 모델 안에 여러 개의 전문가 디코더를 두고 새로운 단어, 객체를 인식할 때 가장 적합한 전문가 디코더를 골라 가중치에 따라 기존 방식과 적절히 조합하고 미세조정함으로써 성능 저하 없이 학습 능력을 확장하는 방식이다.

이번 연구는 OVS의 현실적 한계를 겨냥해 추가 데이터 수용성, 비용 효율성, 일반화를 동시에 고려한 방법론을 제시했다는 평가다. 산업계, 학계에서의 지속 가능한 OVS 구축에 직접적인 기준점을 제공할 것으로 전망된다.

이번 논문에는 서강대 황동준 박사과정이 제1저자, 김예진 석사과정이 제2저자, 이민영 박사과정이 제3저자, 최준석 교수가 교신저자로 각각 참여했다.