온프레미스·클라우드 연계로 AI 개발부터 서비스 운영까지 지원AWS 행사서 ‘서비스 가능한 AI 플랫폼’ 구축 사례 발표하이브리드 인프라 기반으로 AI 서비스 운영 경쟁력 강화
  • ▲ 허설 LG유플러스 MLOps개발팀 기술책임이 발표하고 있는 모습.ⓒLG유플러스
    ▲ 허설 LG유플러스 MLOps개발팀 기술책임이 발표하고 있는 모습.ⓒLG유플러스
    LG유플러스가 아마존웹서비스(AWS)와의 협력을 통해 인공지능(AI) 서비스의 운영 효율을 극대화하는 혁신적인 인프라 자동화 전략을 선보였다고 10일 밝혔다.

    개발부터 실제 서비스 투입까지 전 과정을 하나로 잇는 통합 플랫폼을 통해 ‘AI 서비스 상용화’의 새로운 기준을 제시했다는 평가다.

    지난 ‘2026 모던 에이전틱 애플리케이션 데이’ 행사에서 공개된 이번 사례의 핵심은 AI 모델이 개발 단계에 머물지 않고 즉시 서비스에 투입될 수 있는 ‘모델 준비 상태(Model Ready)’를 상시 유지하는 데 있다.

    기존에는 AI 모델의 학습과 평가, 배포가 제각각 분리되어 운영됨에 따라 서비스 전환 시 불필요한 반복 작업이 발생하는 한계가 있었다. LG유플러스는 이를 개선하기 위해 데이터 수집부터 운영까지 전 단계를 유기적으로 연결하는 파이프라인을 구축했다. 이를 통해 개발자와 운영자는 동일한 환경에서 일관된 기준으로 AI 서비스를 다룰 수 있게 됐다.

    기술적으로는 AWS의 관리형 쿠버네티스 서비스인 ‘아마존 EKS(Amazon EKS)’를 활용한 하이브리드 아키텍처가 중추적인 역할을 한다. LG유플러스는 자체 보유한 온프레미스 GPU 자원을 클라우드와 통합해 중앙에서 제어하는 방식을 택했다.

    특히 눈에 띄는 점은 GPU 자원 활용의 유연성이다. 기존의 고정 할당 방식에서 벗어나 필요에 따라 자원을 가변적으로 배분하는 구조를 도입함으로써, 장비가 쉬는 시간을 줄이고 연산 자원의 효율성을 비약적으로 높였다. 플랫폼 관리 부담은 AWS의 완전관리형 서비스에 맡기고, 내부 인력은 서비스 품질 개선에만 집중할 수 있는 환경을 조성한 것이다.

    GPU 자원 활용 방식을 개선한 점도 이번 플랫폼의 특징이다. 기존처럼 GPU를 장비 단위로 고정 할당하는 방식 대신, 필요한 만큼 자원을 유연하게 배분하는 구조를 적용해 GPU 미사용 시간을 줄였다. 이에 따라 AI 모델 학습이나 서비스 제공이 필요한 시점에 GPU 자원을 보다 효율적으로 활용할 수 있게 됐다.

    권기덕 LG유플러스 AX엔지니어링Lab장은 “데이터 수집부터 모델 운영, GPU 관리까지 전 과정을 아우르는 AI-DLC(AI 주도 개발 라이프사이클) 기반의 엔지니어링 역량을 강화하고 있다”며 “앞으로도 기술 협력을 통해 고객이 체감할 수 있는 고품질 AI 서비스를 지속적으로 선보일 것”이라고 강조했다.