미디어에 ‘온서비스 AI’ 적용한 네이버, XR 콘텐츠 시장 '정조준'

네이버가 AI를 기반으로 영상 미디어 기술력을 제고하며 전환기에 대응하고 있다. 제작 과정의 효율성을 높이는 한편, 버추얼 콘텐츠 특화 스튜디오를 바탕으로 향후 XR(확장현실) 시장을 선도하겠다는 목표를 제시했다.

네이버는 지난 16일 ‘이머시브 미디어 플랫폼 테크 포럼’을 열고 AI 접목 영상 기술과 XR 콘텐츠 제작 과정을 공개했다. 

이날 행사에는 네이버 미디어 플랫폼 팀을 구성하는 김성호 이머시브 미디어 플랫폼 리더(이사)와 오한기 리얼타임 엔진 스튜디오 리더, 송지철 프리즘 스튜디오 리더가 참석해 주요 기술과 서비스를 소개했다.

미디어 환경 변화에 맞춰 네이버는 그동안 다양한 플랫폼을 구축해 왔다. 콘텐츠는 단순히 업로드하고 스트리밍하는 형태에서 벗어나 상호작용하는 라이브 형태로 다변화되고 있다는 설명이다. 블로그와 카페, 지식인과 밴드 같은 서비스에서 사용자와 커뮤니케이션에 중점을 둔 네이버 TV와 V라이브, 쇼핑라이브와 치지직으로 지속 발전시켰다.

앞서 최수연 네이버 대표는 컨퍼런스 ‘단 24’에서 ‘온서비스 AI’ 서비스 전략을 발표한 바 있다. 온서비스 AI 전략에 발맞춰 네이버의 미디어 플랫폼 팀은 검색·광고·커머스 부문만 아니라 미디어와 콘텐츠에도 AI를 접목해 사용자 경험을 개선하는 데 주력하고 있다.

김성호 리더는 네이버 미디어 AI 기술 3가지를 소개했다. 해당 기술은 ▲영상 품질과 전송을 최적화하는 데 사용하는 ‘AI인코드’ ▲영상 맥락을 이해하는 ‘MUAi(Media Understanding AI)’ ▲텍스트와 사진 등 데이터를 자동으로 영상화하는 ‘오토 클립 AI’다.

지난해 도입한 AI인코드는 영상 품질을 유지하면서도 전송률 부담을 최대 30% 낮추는 기술이다. 학습된 AI가 구간별 영상 압축 비율을 빠르게 판단해서 최적화된 인코딩 결과물을 만들어낸다. 사업자와 콘텐츠 생산자의 안정적인 스트리밍을 돕고, 사용자는 같은 품질의 영상을 더 빠르게 볼 수 있게 됐다.

MUAi는 편집자 역할로서, 영상 내 장소에 따른 활동과 감정변화에 대해 분석하고 주요 장면을 구분해 낸다. 예를 들어 1시간이 넘는 쇼핑라이브 영상에서 제품 정보 소개나 할인 정보 등 핵심을 요약해서 사용자에게 보여주는 방식이다. 오토 클립 AI는 글과 이미지로 구성된 데이터가 있는 블로그 URL만 입력하면 영상으로 자동 변환한다.

위와 같은 미디어 AI 기술은 사용자 경험을 개선하는 데 초점을 맞춰 다양한 생성형 AI 모델을 활용하고 있다는 전언이다. 김 리더는 “하이퍼클로바와 오픈소스 기반 모델들을 비롯해 시중에 나와있는 대부분의 모델을 차용해서 텍스트를 영상으로 전환하는 데 활용하고 있다”며 “하나의 모델만 고집하지 않고 스코어링 테스트를 통해 모델들을 언제든지 교체해서 유연하게 적용하는 방식”이라고 말했다.

이날 미디어 AI 기술 외에 네이버가 선보인 것은 비전·모션 스테이지다. 비전·모션 스테이지는 실감형 콘텐츠 제작을 위한 스튜디오로, VR(가상현실)과 MR(혼합현실) 등을 포괄하는 개념인 XR 콘텐츠를 생산한다. 라이브 커머스와 치지직 오리지널 콘텐츠를 제작하고, 버추얼 스트리머와 협업하는 공간으로 주로 활용되고 있다.

오한기 리더는 “제품 이미지를 반영한 콘텐츠를 생성형 AI로 빠르게 만들 수 있어 브랜드들의 호응이 높다”며 “특정 오브젝트 배경을 오마주한 가상배경을 만들어 촬영하거나 숏폼 크리에이터와 영화 느낌의 콘텐츠를 제작하는 등 다양한 방식으로 사용 중”이라고 설명했다.

스튜디오에서는 버추얼 프로덕션 환경에서 AI기술을 활용해 스크린 안과 밖이 상호작용하는 것이 가능했다. 모션 스테이지에서 감지 센서를 착용하고 움직이면 가상 구조가 반영되는 특수 카메라에는 마치 실제 스테이지 위에 있는 것처럼 연출되는 방식이다. 해당 기술은 주로 영화나 드라마에 제작하는 데 사용되는데, 라이브 방송에서도 해당 기술을 구현할 수 있다는 것이 핵심이다.

새로운 창작 환경은 치지직에서 활동하는 버추얼 스트리머(가상 캐릭터로 실시간 방송하는 콘텐츠 제작자)들에게 특화된 공간으로 각광받고 있다. 5월부터 개시한 모션스테이지 렌탈 프로그램을 통해 스트리머들이 콘텐츠를 만들고 라이브를 진행할 수 있는 환경을 구축했다. 버튜버들은 자신만의 3D 캐릭터를 만들고 모션캡처 기술을 바탕으로 콘텐츠 제작 협업도 진행할 수 있다.

네이버의 미디어 환경 대응은 모바일 환경에 최적화된 라이브 스트리밍 앱 내 송출 기술 고도화로 이어지고 있다. 프리즘 라이브 스튜디오 앱은 일 평균 13만건의 라이브 방송이 이뤄지고 있고, 글로벌 다운로드 점유율 47%를 확보하며 경쟁력을 입증했다. 라이브 방송 3가지 유형으로 카메라·게임·아바타를 모두 지원하는 앱으로서 다른 서비스와 차별화된 것이 특징이다.

고도화된 미디어 AI 기술은 직접적으로 매출 성장에 기여하기 보다는 생태계 전반에 적용되면서 네이버 서비스 가치를 높이는 데 기여한다. 김 리더는 “미디어 AI 기술이 좋아지면 영상을 쉽게 만들고 더 잘 소비할 수 있는 패턴이 만들어져 사용자 유지율과 습관화 지표를 개선시킬 것”이라며 “그러면 자연스럽게 검색 광고와 디스플레이 광고 단가가 올라가는 구조”라고 제시했다.

네이버는 연내 안드로이드 운영체제 기반 XR 플랫폼 론칭을 준비하고 있다. 오 리더는 “케이팝과 버튜버를 비롯해 게임 콘텐츠를 XR 플랫폼에서 제공할 예정”이라며 “XR은 결국 AI 기술과 맞닿아 있는 영역으로서 사용자 경험을 잘 쌓으면 AR 글래스가 대중화됐을 때 상응하는 컴퓨팅 경험을 제공할 수 있을 것으로 기대한다”고 전했다.