AI Train 서비스에 엔비디아 최신 GPU 적용소형언어모델 NPU 성능검증 예정
  • ▲ ⓒKT클라우드
    ▲ ⓒKT클라우드
    KT클라우드가 GPUaaS에 엔비디아 H200을 적용하며 고성능 AI 인프라를 제공한다고 24일 밝혔다.

    KT클라우드는 AI 인프라가 필요한 국내 다수의 공공기관과 AI 스타트업을 대상으로 사용량 기반의 탄력적인 GPU 자원 이용이 가능한 GPUaaS(GPU as a Service)를 제공 중이다. 

    단기간 대용량·고사양의 GPU 공급이 요구되는 학습 영역에 특화된 ‘AI Train’, 적은 양의 GPU를 끊김 없이 상시 공급해야 하는 추론 영역에 특화된 ‘AI SERV’ 등 엔비디아 기반의 다양한 상품 라인업을 통해 고객 니즈에 신속하게 대응해 왔다.

    특히 AI Train은 다수의 공공과 민간 고객 레퍼런스를 통해 대규모 GPU 노드 클러스터링과 동적할당 제어 기능을 검증받은 바 있다. KT클라우드는 기존 H100 중심으로 운영되던 AI Train 서비스에 H200을 적용하여 한층 강화된 성능을 구현한다는 계획이다.

    엔비디아 H200은 이전 모델인 H100 대비 연산 처리 능력과 전력 효율성이 개선됐다. 메모리 대역폭이 넓어져 최적화된 고성능 학습과 추론 인프라 환경을 제공할 것으로 기대된다.

    KT클라우드는 GPU뿐만 아니라 NPU 영역에도 대응하기 위해 리벨리온과 협력해 추론 전용 인프라인 ‘AI SERV NPU’ 서비스를 제공 중이다. 올해 5월 출시 예정인 리벨리온 ‘아톰 맥스’를 AI SERV NPU에 적용해 소형언어모델(sLM)이 요구하는 NPU 성능 검증을 진행한다.또한 미국 반도체 설계 업체 암페어(Ampere)와도 AI 반도체 사업 협력을 검토하는 등 업계 주요 사업자와 다양한 협력을 통해 지속적으로 사업 영역을 확장할 계획이다.

    한편, KT클라우드는 올 하반기 중 공공 기관을 대상으로 추론 전용 상품의 CSAP 인증 절차를 진행하며 공공 분야의 AI 수요에도 적극 대응하겠다는 계획이다.

    공용준 KT클라우드 Cloud본부장은 “이번 엔비디아 H200 도입을 통해 글로벌 수준의 AI 인프라를 확보하며 AI 클라우드 사업자로서의 역량을 한층 높일 수 있게 됐다”며 “향후 인프라 뿐 아니라 AI Ops 등 AI 서비스 포트폴리오를 강화하고 AI 기술 경쟁력을 높이며 다양한 고객 니즈를 맞춰 나가겠다”고 말했다.