삼성SDS, 국산 NPU 클라우드 서비스 출시 … AI 추론 시대 인프라 경쟁 본격화

생성형 인공지능(AI) 서비스 확산으로 AI 반도체 시장의 무게중심이 모델 학습(Training)에서 실제 서비스를 구동하는 추론(Inference)으로 이동하는 가운데 삼성SDS가 국산 신경망처리장치(NPU)를 기반으로 한 클라우드 서비스를 출시했다.

삼성SDS는 삼성 클라우드 플랫폼(SCP)에 퓨리오사AI의 2세대 NPU '레니게이드(RGND)'를 적용한 NPUaaS(NPU as a Service)를 상용화했다고 20일 밝혔다.

NPUaaS는 기업이 AI 반도체 서버를 직접 구축하지 않고도 클라우드를 통해 필요한 만큼 NPU 자원을 구독 형태로 이용할 수 있는 서비스다. 고객은 AI 서비스 규모와 연산 수요에 맞춰 NPU를 1장, 2장, 4장, 8장 단위로 선택해 사용할 수 있으며, SCP의 스토리지·컴퓨트·네트워크 등 다양한 클라우드 서비스와 연계해 활용할 수 있다.

이번 서비스에는 퓨리오사AI의 AI 추론 특화 반도체인 레니게이드가 적용됐다. AI 추론은 이미 학습된 AI 모델이 실제 서비스에서 질문에 답하거나 문서를 분석하고 이미지를 판별하는 등 결과를 생성하는 과정이다. 업계에서는 생성형 AI 이용이 확대되면서 앞으로 AI 반도체 수요도 대규모 학습보다 추론 중심으로 점차 확대될 것으로 보고 있다.

NPU는 AI 추론을 저전력·고효율로 수행하도록 설계된 AI 전용 반도체다. AI 서비스 운영 과정에서 중요한 요소인 전력 소비를 줄일 수 있고, 일부 AI 추론 환경에서는 GPU 대비 전력 사용량과 운영 비용을 절감할 수 있는 대안으로 평가받는다. 또한 추론 연산을 전용 하드웨어에서 처리해 동일한 전력 환경에서도 더 많은 요청을 처리할 수 있어 서비스 응답성과 지연시간(latency) 개선에도 도움이 될 수 있다.

AI 반도체는 용도에 따라 역할이 구분된다. CPU는 시스템 전반을 제어하는 범용 프로세서이며, GPU는 대규모 병렬 연산을 기반으로 AI 모델 학습과 대규모 추론에 강점을 가진다. NPU는 AI 추론을 효율적으로 처리하도록 설계된 전용 프로세서로, AI 서비스가 고도화될수록 각 반도체가 역할을 분담하는 구조가 더욱 중요해지고 있다는 분석이 나온다.

삼성SDS는 이번 NPUaaS를 소버린 클라우드 환경에서 제공해 보안 규제가 엄격한 공공기관과 기업도 활용할 수 있도록 지원할 계획이다. 회사는 기존 GPU 기반 AI 서비스에 더해 NPU 기반 연산 자원까지 제공 범위를 확대함으로써 고객의 AI 인프라 선택권을 넓히고 국산 AI 반도체 생태계 확산에도 기여할 것으로 기대하고 있다.

이호준 삼성SDS 클라우드서비스사업부장(부사장)은 "이번 NPUaaS 출시는 새로운 클라우드 서비스를 선보이는 것을 넘어 고객이 고성능 AI 기술을 더욱 유연하고 효율적으로 활용할 수 있도록 하는 데 의미가 있다"며 "앞으로도 SCP 기반 AI 서비스를 지속 확대해 클라우드 AI 생태계를 강화해 나가겠다"고 말했다.