카카오는 테크블로그를 통해 한국적 맥락 이해에 최적화된 통합 멀티모달 언어모델 ‘Kanana-o’와 멀티모달 임베딩 모델 ‘Kanana-v-embedding’의 개발 과정과 성능을 공개했다고 12일 밝혔다.
Kanana-o는 텍스트와 음성, 이미지를 동시에 이해하고 실시간으로 답변하는 통합 멀티모달 언어모델이다. 글로벌 모델 대비 한국어 맥락 이해에서 압도적 성능을 보유하고, 사람처럼 자연스럽고 풍부한 표현력을 갖추고 있는 것이 특징이다.
카카오는 기존 멀티모달 모델들이 텍스트 입력 시 강점을 보이지만 음성 대화 시에는 답변이 단순해지고 추론 능력이 떨어진다는 한계에 주목했다. Kanana-o는 지시이행 능력을 고도화해 사용자의 숨은 의도와 복잡한 요구사항까지 파악할 수 있도록 개선했다.
또한 고품질 음성 데이터와 DPO(직접 선호 최적화) 기술을 적용해 억양·감정·호흡 등을 정교하게 학습시켰다. 기쁨·슬픔·분노·공포 등 상황 별 생생한 감정은 물론 미세한 음색·어조 변화 등에 따른 감정 표현 능력까지 향상 시켰다.
벤치마크 평가 결과 Kanana-o는 영어 음성 성능에서 GPT-4o와 유사한 수준을 기록했고, 한국어 음성 인식과 합성 능력에서는 더 높은 수준을 기록했다. 카카오는 향후 더욱 자연스러운 동시 대화(Full-duplex)와 상황에 맞는 사운드스케이프(소리환경)를 실시간 생성할 수 있는 진화된 모델로 발전시킬 예정이다.
함께 공개된 ‘Kanana-v-embedding’은 이미지 기반 검색의 핵심 기술로, 텍스트와 이미지를 동시에 이해해 처리할 수 있는 한국형 멀티모달 모델이다. 텍스트로 이미지를 검색하거나, 사용자가 선택한 이미지와 관련된 정보를 검색하고, 이미지가 포함된 문서 검색 등을 지원한다.
현재 카카오 내부에서 광고 소재의 유사도를 분석하고 심사하는 시스템에 적용됐다. 향후 비디오나 음성으로 범위를 확대해 더욱 다양한 서비스에도 적용할 계획이다.
한편, 카카오는 지난 5월 에이전틱 AI 구현을 위한 기능 강화에 중점을 둔 언어모델 Kanana-1.5를 기반으로 현재 모바일 기기와 같은 온 디바이스 환경에서 동작할 수 있는 멀티모달 모델의 경량화 연구를 진행 중이다. 이와 더불어 MoE(Mixture of Experts) 구조를 적용한 고성능, 고효율 모델인 ‘Kanana-2’ 개발을 준비 중이다.
김병학 카카오 카나나 성과리더는 “사용자의 감정을 이해하며 친숙하고 자연스럽게 대화하는 AI가 될 수 있도록 한국적 맥락의 이해와 표현력을 높여가고자 한다”며 “사람처럼 상호작용 할 수 있는 AI 구현에 주력할 것”이라고 말했다.
Kanana-o는 텍스트와 음성, 이미지를 동시에 이해하고 실시간으로 답변하는 통합 멀티모달 언어모델이다. 글로벌 모델 대비 한국어 맥락 이해에서 압도적 성능을 보유하고, 사람처럼 자연스럽고 풍부한 표현력을 갖추고 있는 것이 특징이다.
카카오는 기존 멀티모달 모델들이 텍스트 입력 시 강점을 보이지만 음성 대화 시에는 답변이 단순해지고 추론 능력이 떨어진다는 한계에 주목했다. Kanana-o는 지시이행 능력을 고도화해 사용자의 숨은 의도와 복잡한 요구사항까지 파악할 수 있도록 개선했다.
또한 고품질 음성 데이터와 DPO(직접 선호 최적화) 기술을 적용해 억양·감정·호흡 등을 정교하게 학습시켰다. 기쁨·슬픔·분노·공포 등 상황 별 생생한 감정은 물론 미세한 음색·어조 변화 등에 따른 감정 표현 능력까지 향상 시켰다.
벤치마크 평가 결과 Kanana-o는 영어 음성 성능에서 GPT-4o와 유사한 수준을 기록했고, 한국어 음성 인식과 합성 능력에서는 더 높은 수준을 기록했다. 카카오는 향후 더욱 자연스러운 동시 대화(Full-duplex)와 상황에 맞는 사운드스케이프(소리환경)를 실시간 생성할 수 있는 진화된 모델로 발전시킬 예정이다.
함께 공개된 ‘Kanana-v-embedding’은 이미지 기반 검색의 핵심 기술로, 텍스트와 이미지를 동시에 이해해 처리할 수 있는 한국형 멀티모달 모델이다. 텍스트로 이미지를 검색하거나, 사용자가 선택한 이미지와 관련된 정보를 검색하고, 이미지가 포함된 문서 검색 등을 지원한다.
현재 카카오 내부에서 광고 소재의 유사도를 분석하고 심사하는 시스템에 적용됐다. 향후 비디오나 음성으로 범위를 확대해 더욱 다양한 서비스에도 적용할 계획이다.
한편, 카카오는 지난 5월 에이전틱 AI 구현을 위한 기능 강화에 중점을 둔 언어모델 Kanana-1.5를 기반으로 현재 모바일 기기와 같은 온 디바이스 환경에서 동작할 수 있는 멀티모달 모델의 경량화 연구를 진행 중이다. 이와 더불어 MoE(Mixture of Experts) 구조를 적용한 고성능, 고효율 모델인 ‘Kanana-2’ 개발을 준비 중이다.
김병학 카카오 카나나 성과리더는 “사용자의 감정을 이해하며 친숙하고 자연스럽게 대화하는 AI가 될 수 있도록 한국적 맥락의 이해와 표현력을 높여가고자 한다”며 “사람처럼 상호작용 할 수 있는 AI 구현에 주력할 것”이라고 말했다.