조성대 부사장 "시공 한계 넘었다"갤럭시S10 첫 도입… S24 AI모델 28배 늘어
  • ▲ 조성대 삼성전자 MX사업부 Visual Solution(비주얼 솔루션) 팀장(부사장). ⓒ삼성전자
    ▲ 조성대 삼성전자 MX사업부 Visual Solution(비주얼 솔루션) 팀장(부사장). ⓒ삼성전자
    삼성전자는 "갤럭시 카메라가 시공의 한계를 극복하는 우수한 촬영 결과물을 창출할 수 있도록 다양한 솔루션들을 개발하고 있으며, 그 중심에 AI가 중추적 역할을 하고 있다"고 강조했다.

    조성대 삼성전자 MX사업부 Visual Solution(비주얼 솔루션) 팀장(부사장)은 지난 18일(현지시간) 갤럭시S24 시리즈 카메라에 탑재된 '온디바이스 비주얼 AI'에 대해 소개하며 "비주얼은 빛의 미학으로, 시간과 공간의 한계를 넘어 빛을 담아 내기 위한 노력의 결정체"라면서 이같이 밝혔다.

    갤럭시의 비주얼 AI 솔루션은 갤럭시S24 시리즈를 빠르고 스마트한 카메라로 만들어주며, 모든 사용자가 전문가 수준의 콘텐츠를 만들 수 있도록 지원한다.

    삼성전자는 2019년 갤럭시S10에 비주얼 AI 모델을 처음 도입했고, 이를 효율적으로 구동하기 위해 하드웨어 NPU를 스마트폰에 처음 탑재했다.

    실제 2019년 갤럭시S10에는 AI 모델 4개가 처음 탑재됐으며, 갤럭시S24에서는 28배가 늘어난 112개의 AI 모델이 사용됐다. NPU 성능은 S10 대비 13배가량 향상됐다. 이는 더 빠르고 더 정확한 이미지 인식과 처리가 가능한 고도화된 AI 모델이 탑재됐음을 의미한다.

    카메라는 하드웨어인 렌즈가 빛을 포착한 이후 소프트웨어 단계로 이동해 고도의 이미징 처리 과정을 거쳐 최종 이미지를 산출해 주는데, 소프트웨어 단계에서 비주얼 AI 솔루션이 매우 중요한 역할을 한다.

    비주얼 AI 솔루션은 수많은 종류의 AI 모델을 포함하고 있으며, 이미지나 영상에 다양한 솔루션을 적용해 최적의 결과를 만들어 준다.

    특히 갤럭시의 비주얼 AI는 AI 모델, 데이터, NPU가 삼박자를 이뤄 최적의 결과물을 창출하고 있다. AI 모델은 이미지 인식과 화질 개선이라는 두 가지 주요 목적에 사용된다. AI는 이미지와 영상 속 복잡한 이미지 패턴을 분석해 사람, 사물, 장면을 인식하고 거리를 구분할 수 있다.

    또 어둡거나 흐리고 노이즈가 많은 이미지와 영상을 더 선명하고 밝게 만들어주는 데도 탁월한 역할을 한다.

    AI 모델을 보다 정확하고 정교하게 만들기 위해서는 충분한 수량의 데이터 학습이 매우 중요하다. 삼성전자는 이를 위해 4억개가 넘는 고품질 이미지 데이터를 기반으로 고도의 AI 모델을 완성했다. 고도화된 AI 모델들을 빠른 시간 내 적용해 결과물을 만들려면 성능이 높고 전력 효율이 높은 NPU가 필요하다.

    이를 위해 갤럭시S24에는 고성능 NPU를 탑재해 나이트로그래피, AI 줌, 고해상도 사진, 슬로모 영상 등에 필요한 방대한 양의 데이터를 신속하게 처리할 수 있다.

    갤럭시S24 울트라에는 새로운 쿼드 텔레 시스템이 탑재됐다. 쿼드 텔레 시스템은 2배, 3배, 5배, 10배에서 광학줌 수준의 이미지를 제공해 2배에서 10배 사이의 어떤 구간에서도 보다 완벽한 결과물을 얻을 수 있다. 4개의 줌 렌즈를 활용하는 것과 같은 효과를 줘 피사체와 거리의 한계를 뛰어넘게 만들어 준다.

    줌 성능을 더욱 발전시키기 위해 센서 사이즈도 60% 확대하고, 5000만화소 텔레 렌즈를 처음 적용했다.

    삼성전자는 사용자가 가장 자주 사용하는 일상적인 카메라 활용 사례를 지속적으로 연구했으며, 가장 자주 사용하는 구간이 2배와 5배임을 확인했다고 설명했다. 이에 최상의 줌 사용성을 위해 2배와 5배 광학 줌을 제공하기로 결정했고, 일상적인 촬영에 최적화된 광학·디지털 줌 기능을 개발했다.

    5배줌 카메라는 고해상도 5000만화소의 센서를 탑재하고 있다. 5000만 고화소로 사진을 촬영한 후 촬영 결과물의 중앙부를 잘라 여러 장을 합성해 AI가 화질을 개선하면 디테일을 잃지않은 광학 줌 수준의 1200만화소 10배 줌 사진 결과물이 제공된다.

    갤럭시 카메라의 시그니처인 나이토그래피가 강화돼 영상과 사진 모두 어두운 환경에서 더 나은 결과물을 창출해 준다. 특히 멀티 프레임 합성으로 디테일을 강화해 야간 AI 영상 신호 처리가 개선됐다.

    갤럭시S24 시리즈는 업그레이드된 AI ISP와 더 빠른 NPU로 캡처된 콘텐츠의 노이즈를 크게 줄이고, 전후면 카메라 모두 노이즈 감소를 위해 전용 ISP 블록을 탑재했다.

    또 자이로 센서 정보를 분석해 사용자와 피사체의 움직임을 구분한 후 노이즈 제거와 선명도를 높이는 스마트 솔루션도 탑재했다.

    갤럭시S24 울트라의 5배 망원 카메라는 와이더 OIS 를 통한 손떨림 성능 강화돼 촬영에 안정감을 주고, 전작 대비 60% 더 큰 픽셀 크기를 탑재했다. 셔터 속도는 전작 대비 30% 더 빨라졌다.

    갤럭시S24 시리즈는 영상 콘텐츠를 촬영하면서 시간의 한계를 극복하는 인스턴트 슬로모 (Instant Slo-mo) 기술도 탑재했다. 이 기능은 영상 촬영에 있어 AI가 프레임간 움직임을 분석한 뒤 중간에 추가 프레임을 생성하는 생성형 AI 기술이다.

    실제 프레임 사이에 3개의 추가 프레임을 생성해 기존 영상이 30fps이면 120fps 결과물을, 60fps이면 240fps의 영상을 생성할 수 있다.