LGU+, 옵트에이아이와 '토큰 최적화' 맞손 … "AI 운영 효율 높인다"

LG유플러스가 AI 모델 최적화 전문기업 옵트에이아이와 AI 운영에 필요한 연산 자원과 비용을 줄이기 위한 기술 개발에 나선다. 온디바이스 AI에서 진행해온 협력을 서버 GPU 환경까지 확대해 토큰 처리 효율을 높이는 것이 핵심이다.

LG유플러스는 옵트에이아이와 '토큰 최적화' 기술을 공동 연구한다고 2일 밝혔다.

토큰은 AI가 이용자의 질문을 이해하거나 답변을 생성할 때 처리하는 데이터의 기본 단위다. 토큰 최적화는 AI 모델의 크기와 연산 과정을 효율화해 동일한 컴퓨팅 자원으로 더 많은 요청을 처리할 수 있도록 하는 기술이다.

양사는 실제 GPU 기반 AI 모델을 대상으로 진행 중인 최적화 연구에서 초기 성과도 확보했다. AI 모델이 답변을 생성하는 연산 과정을 서비스 환경에 맞춰 개선한 결과, 동일한 GPU에서 처리할 수 있는 토큰량을 기존 대비 최대 4배까지 높였다.

LG유플러스는 자사 AI 서비스 운영 경험을 활용해 기술 검증과 실제 적용을 맡는다. 옵트에이아이는 AI 모델을 보다 적은 자원으로 구동하기 위한 최적화 기술 연구·개발을 담당한다.

양사는 이를 통해 AI 서비스를 운영하는 데 필요한 GPU와 전력 사용량을 줄이는 동시에 응답 속도와 서비스 품질을 높이는 것을 목표로 하고 있다.

LG유플러스와 옵트에이아이는 앞서 스마트폰 등 단말 자체에서 AI를 구동하는 온디바이스 AI 분야에서도 관련 기술을 공동으로 개발해왔다.

LG유플러스는 '엑사원(EXAONE)' 기반 소형언어모델(sLM)에 경량화 기술을 적용해 스마트폰의 AI 전용 반도체인 NPU에서 구동할 수 있도록 했다. 회사에 따르면 기존 CPU 방식과 같은 수준의 성능을 유지하면서 전력 소모를 78%, 모델 크기를 82% 줄였다.

양사는 기존 온디바이스 중심의 협력을 서버 GPU 환경으로 넓힐 계획이다. 대규모 AI 서비스에서 같은 GPU 자원으로 더 많은 이용자의 요청을 처리할 수 있도록 모델의 연산 과정을 효율화하는 기술을 중점적으로 연구한다.

LG유플러스는 공동 연구를 통해 확보한 기술을 자사 AI 서비스와 대규모 AI 인프라 운영 환경에 단계적으로 적용할 예정이다.

관련 기술 생태계 확대를 위한 협력도 진행한다. 양사는 지난 1일 'Efficient AI 테크 세미나'를 공동 개최하고 AI 운영 효율화와 관련한 연구 동향과 산업 적용 사례를 공유했다.

세미나에는 퓨리오사AI와 베슬에이아이(VESSL AI), 한국전자기술연구원(KETI), 한양대학교 등 산·학·연 관계자들이 참여했다. AI 모델 최적화부터 AI 반도체와 실제 서비스 적용까지 AI 운영에 필요한 자원을 효율화하기 위한 기술과 사례를 논의했다.

이상엽 LG유플러스 CTO는 "AI 경쟁력은 단순히 성능을 높이는 것을 넘어 같은 자원으로 얼마나 많은 토큰을 효율적으로 처리할 수 있느냐에 달려 있다"며 "옵트에이아이를 비롯한 다양한 파트너들과 협력해 토큰 최적화 기술 연구를 확대하고 실제 서비스에 적용할 수 있는 성과를 만들어 나가겠다"고 말했다.

이재호 옵트에이아이 대표는 "생성형 AI 시대에는 높은 성능만큼이나 운영 효율을 확보하는 것이 중요해지고 있다"며 "LG유플러스와 함께 실제 서비스 환경에서 검증 가능한 AI 최적화 기술을 고도화하고 AI 산업의 효율성 향상에 기여하겠다"고 말했다.