한양대 유용재 교수, 시각이미지→촉각 변환 AI서비스 '닷 비스타' 선봬 … 시각장애인 물체인지에 도움

한양대학교 ERICA캠퍼스는 소프트웨어융합대학 인공지능학과 유용재 교수가 주식회사 닷, 마이크로소프트(MS)와 협업해 시각장애인을 위한 시각 이미지 촉각 자동 변환 솔루션 '닷 비스타(Dot Vista)'를 개발했다고 29일 밝혔다.

Dot Vista는 산·학 협력 공동 개발 제품으로, 점자 그래픽 출력장치인 '닷 패드(Dot Pad)'를 활용해 이미지를 촉각으로 변환한다. 이를 통해 시각장애인이 물체의 형태를 인지하고 학습할 수 있게 돕는 윈도11 CoPilot+ 애플리케이션(앱)이다.

연구팀은 '인공지능(AI) 프레임워크'를 기반으로, 시각적 이미지로부터 시각장애인에게 필요한 형태, 방향, 특징 등을 추출한 뒤 이를 만질 수 있게 촉각 그래픽스를 생성했다.

이 앱은 지난 19~21일 IT 전문가와 개발자, 비즈니스 리더들이 최신 기술 혁신과 제품 업데이트를 공유하는 MS 개발자 콘퍼런스(MS Ignite)에서 처음 공개됐다. 이 행사에서 MS의 접근성 팀 대표인 볼드윈 NG는 "사용자 피드백을 통해 Dot Vista가 시각장애인에게 필요한 서비스라고 확신했다"며 "MS가 전 세계의 접근성 문제를 해결하는 열쇠를 제공할 것"이라고 말했다.

Dot Vista의 주요 기능은 2가지다. 첫 번째는 '접근 가능한 동물원(Accessible Zoo)'으로, 사용자가 동물 이미지를 올리면 자동으로 이미지 설명이 나오고 해당 설명은 닷 패드를 통해 점자로 출력된다. 시각장애인은 촉각을 통해 동물의 형태를 느낄 수 있다.

두 번째는 '과일 분류(Fruits Classification)'로, 시각장애인이 과일의 신선도를 촉각으로 느낄 수 있는 기능이다. 이는 신선도 등을 촉각으로 경험할 수 있게 해 과일의 상태를 이해하는 데 도움을 준다.

이런 AI 모델은 차세대 AI 연산기법으로 주목받는 신경망처리장치(NPU) 연산을 활용했다. 별도 서버 없이 AI 기능을 사용할 수 있게 로컬 모델로 구현됐다. Dot Vista는 내년 2분기 윈도11용 제품으로 출시 예정이다.

유 교수는 "햅틱스와 AI 기술이 결합된 보조공학 분야는 매우 중요한 연구 영역"이라며 "AI 기술을 통해 전 세계 시각장애인이 삶과 교육에서 풍요로움을 누릴 수 있도록 앞으로도 닷, MS와 미디어·콘텐츠 접근성 향상에 기여할 연구를 지속해 나가겠다"고 말했다.

유 교수 연구팀은 AI 기반 감각운동기능 교육 시스템, 시청각 미디어에 맞춘 촉각효과 자동 변환 기술 등 다양한 햅틱스와 AI 기술을 연구한다.