유사 모델 대비 학습비용 50% 이상 절감지속적인 모델 고도화, 기술 경쟁력 강화
  • ▲ ⓒ카카오
    ▲ ⓒ카카오
    카카오는 자체 개발 언어모델의 연구 성과를 공개하고 경량모델인 ‘카나나 나노’를 오픈소스로 배포했다고 27일 밝혔다.

    테크니컬 리포트에 카나나 언어모델 전체의 프리 트레이닝부터 포스트 트레이닝까지 전 과정을 자세히 담았다. 카나나 모델의 구조, 학습 전략, 그리고 글로벌 벤치마크에서의 성과도 확인할 수 있다.

    카카오의 초거대 언어모델 ‘카나나 플래그’는 지난해 말 학습을 완료했다. 지난해 개발자 컨퍼런스 이프카카오에서 공개한 카나나 언어모델의 전체 라인업을 모두 구축하게 됐다.

    카나나 플래그는 글로벌 최고 수준의 한국어·영어 성능을 달성한 모델이다. 한국어 성능을 평가하는 ‘LogicKor’, ‘KMMLU’ 벤치마크에서 타 모델을 압도하는 처리 능력을 입증했다. 또한 학습 자원 최적화를 통해 유사 사이즈의 모델 대비 50% 이상 비용을 절감했다.

    카카오는 대규모 언어모델의 학습 효율을 극대화하고자 혁신적인 학습 기법을 적용했다. 이를 통해 경량 모델부터 초거대 모델까지 다양한 사이즈의 고성능 모델을 효율적으로 개발하면서 유사크기 모델 대비 절반 이하의 학습 비용을 실현했다.

    향후 카나나 모델에 강화 학습과 연속 학습 기반의 최신 기술을 접목해 추론, 수학과 코딩 능력을 강화하고, 정렬 기술을 고도화해 사용자 요청의 수행 정확도를 높일 계획이다. 음성과 이미지 등 다양한 형태로 소통 가능하도록 지속적 모델 고도화를 이어가며, 기술 경쟁력을 강화해 갈 예정이다.

    카카오는 테크니컬 리포트와 함께 자체 개발 경량 모델 카나나 나노를 깃허브(GitHub)에 오픈소스로 공개했다. 베이스 모델과, 인스트럭트 모델, 임베딩 모델이 오픈소스 커뮤니티를 통해 제공된다.

    김병학 카카오 카나나 성과리더는 “이번 오픈소스 공개를 통해 국내 AI 생태계 활성화에 기여할 수 있을 것으로 기대한다”며 “앞으로도 효율과 성능 중심의 실용적이고 안전한 AI 모델을 개발하며 지속적 기술 혁신을 통해 AI 경쟁력을 강화해 갈 계획”이라고 말했다.