한양대 임창환 교수, 입 움직임 분석해 음성 합성하는 데 성공

한양대학교는 바이오메디컬공학과 임창환 교수 연구팀이 입 주위에 부착한 가속도계 신호를 분석해 음성을 합성하는 무음 발화 인식 기술을 개발했다고 20일 밝혔다.

무음 발화 인식 기술은 목소리를 내지 않고 입을 움직이는 것만으로 발화 의도를 인식하는 것으로, 발성 장애를 겪는 환자의 의사소통을 돕기 위해 개발되고 있다.

기존 무음 발화 인식 기술에는 카메라, 전자기조음측정기(EMA), 초음파, 근전도(EMG) 신호 등이 활용됐다. 임 교수팀은 가속도계를 이용한 방식을 제안했다. 임 교수팀은 입 주위에 부착한 4개의 가속도계 신호를 딥러닝으로 분석해 40개 단어를 95% 이상의 정확도로 분류하는 데 성공했다. 이는 기존의 6개 근전도 센서를 이용한 방식보다 5% 이상 높은 정확도를 보였다.

이번 연구에서 임 교수팀은 가속도계 신호만을 이용해 음성을 합성하는 기술을 구현했다. 입 주위 근육의 움직임을 바탕으로 음성을 합성하는 이 기술은 기존의 단어 분류보다 훨씬 난도가 높은 과제다. 임 교수팀은 이화여대 성지은 교수와 협력해 한국어의 모든 음운을 포함하는 270개의 문장을 제작하고, 19명의 실험 참가자로부터 음성 신호와 함께 5개의 가속도계 신호를 수집했다. 이 데이터를 기반으로 트랜스포머를 변형한 딥러닝 모델인 컨포머를 학습시켜, 가속도계 신호만으로 음성 신호를 합성하는 데 성공했다. 대부분의 합성된 음성은 인식 가능한 수준으로 복원됐다.

이번 연구 성과는 가속도계 신호를 통해 간접적으로 측정한 조음기관의 움직임 정보로부터 음성 신호를 복원할 수 있다는 가능성을 입증했다는 데 의미가 있다. 이번 연구에서는 실험자가 실제 발성하는 동안 측정한 가속도계 신호를 이용했지만, 이후에는 참가자가 실제 발성을 하지 않고 입 모양만 흉내 낼 때에도 음성을 합성하는 연구를 진행할 예정이다.

임 교수는 "이 기술을 발성 장애인의 의사소통을 위한 실용적 기술로 발전시킬 계획"이라며 "웨어러블 형태의 무선 센서 시스템을 개발해 기술 상용화를 추진하고 있다"고 말했다.

이번 논문(Speech synthesis from three-axis accelerometer signals using conformer-based deep neural network)은 수학·계산 생물학 분야 상위 3% 이내 국제 학술지인 'Computers in Biology and Medicine' 최신호에 게재됐다.

이번 연구는 한국연구재단 중견연구자지원사업과 정보통신기획평가원의 한계도전R&D 프로젝트, 인공지능대학원지원사업의 지원을 받아 진행됐다.