국내 특화 AI 거대언어모델 '텔코LLM' 6월 출격… SKT "맞춤 요금제 추천 등 서비스 극대화"

SK텔레콤의 통신사향 거대언어모델 '텔코LLM'이 오는 6월 베일을 벗는다. 인공지능(AI) 멀티엔진을 탑재해 다양한 통신 영역에 대한 전문성을 확보하고, 요금제 등을 맞춤으로 추천해주는 서비스로 편의성을 극대화할 전망이다.

30일 SK텔레콤에 따르면 통신사의 내부 지침을 학습한 텔코LLM을 6월 중 선보일 예정이다. 5G 요금제, T멤버십, 공시지원금 등 우리나라의 통신 전문 용어와 AI 윤리가치 등을 학습한 것이 특징이다.

텔코LLM은 SK텔레콤의 '에이닷엑스(A.X)', 오픈AI의 'GPT-4', 앤트로픽의 '클로드' 등 다양한 LLM(거대언어모델) 범용모델을 기반으로 튜닝했다. 이는 멀티LLM 전략의 일환으로, 유무선 네트워크를 글로벌 시장에서 AI 솔루션을 확산해 나간다는 계획이다. 

앞서 SK텔레콤은 올 초 MWC 2024에서 AI LLM 공동 개발 및 사업 협력을 수행할 '글로벌 텔코 AI 얼라이언스(GTAA)' 합작법인 설립 계약을 체결했다. 합작법인에는 SK텔레콤을 비롯해 도이치텔레콤, 이앤(e&)그룹, 싱텔그룹, 소프트뱅크 등이 속했다. 한국어, 영어, 일본어, 독일어, 아랍어 등 5개 국어를 시작으로 전 세계 다양한 언어를 지원하는 다국어 LLM을 개발한다는 목표를 세웠다.

SK텔레콤은 오픈AI, 앤트로픽 등과 협력을 통해 통신사의 서비스나 상품, 멤버십 혜택, 고객 상담 패턴 등 방대한 양의 데이터를 수집하고 있다. 이 가운데 정형·비정형 데이터를 선별해 에이닷엑스, GPT, 클로드에 학습시키면서 통신에 특화된 LLM을 만들고 있다.

에릭 데이비스 SK텔레콤 AI Tech Collaboration담당은 "1개의 범용LLM으로 통신사들이 하려는 다양한 서비스와 문제를 해결하는 것은 쉽지 않을 것"이라며 "통신 데이터와 도메인 노하우에 맞춰 조정하는 미세조정(파인튜닝)과 모델평가(벤치마킹)를 거쳐 다양한 텔코LLM을 만들고 이를 상황에 맞게 골라 쓸 수 있도록 하는 것이 SK텔레콤만의 멀티LLM 전략"이라고 설명했다.

구체적으로 텔코LLM은 데이터를 수집하고 비정형·정형 데이터를 선별, 정제하는 작업을 한다. 이를 기반으로 범용 LLM을 통신사 전용으로 미세조정하는 과정을 거치고, 휴먼 피드백 기반의 강화 학습(RLHF)을 한 후 최종 벤치마킹을 하는 사이클을 거친다.

범용LLM은 통신사의 번호이동 방법이나 절차 등 전문지식을 제대로 학습하지 않아 요금제 추천 같은 고객 요구에 제대로 대응하기 어렵다. 통신 관련 데이터를 추가로 학습해 이 문제를 해결하는 과정이 텔코LLM의 파인튜닝이다. 파인튜닝이 된 텔코LLM은 휴먼 피드백 기반의 강화학습(RLHF) 과정을 거친다.

텔코LLM이 답변한 내용에 대해 상담사들은 품질, 만족도 등을 평가하는 과정을 거친다. 고객의 문의에 대해 유용한 답변을 했는지, 문맥을 제대로 이해했는지 등에 대해 채점하는 사람의 평가를 통한 강화학습이다. 마지막으로 텔코LLM의 언어 능력, 추론 능력, 통신 특화과제 수행 능력 등에 대해 벤치마킹을 한다.

오픈 AI는 지난 5일 공식 블로그를 통해 기업의 특정 도메인에 맞게 AI 모델을 학습시키고 최적화할 수 있도록 지원하는 커스텀 모델을 공개한 바 있다. 당시 오픈 AI는 "SK텔레콤과 협력을 통해 GPT-4를 미세 조정하고 한국어로 된 통신 관련 대화 성능을 향상시켰다"며 특정 산업 파인튜닝의 대표 사례로 언급했다.

가령 고객이 요금제를 문의하거나 부가서비스 변경을 요청하는 등 상담 유형을 선택하는 영역에서 낮은 점수를 받으면 관련 데이터를 더 구축하는 방식으로 학습하는 식의 파인튜닝 과정을 거친다. 고도화 하는 방식을 계속 주기적으로 반복해 텔코LLM을 더 똑똑하게 만드는 것.

고객센터에서 상담 전화 한 건을 처리하는데 고객 상담에 약 3분, 상담 후 업무 처리하는데 30초 이상이 소요된다. 텔코LLM을 도입하면 상담사가 고객과 전화하는 동안 LLM이 해결책을 상담사에게 제공하고, 상담 내용을 요약해줄 수 있다. 상담 후 처리까지 소요되는 시간을 크게 단축시켜 줄 수 있을 것으로 기대되는 대목이다.

또한 텔코LLM 중 통신 관련 데이터를 입힌 클로드 버전의 경우 AI가 따라야 할 윤리원칙을 철저하게 학습하고 있다. 우리나라에서 빠르게 생겨나고 있는 신조어나 한국어 욕설, 위협 폭언 식의 문맥 뉘앙스를 정확하게 파악할 수 있는 장점이 있다.

통신사의 네트워크 인프라 운용에도 텔코LLM이 유용하다. 인프라 운용자가 네트워크 모니터링 중 문제가 발생하면, 실시간으로 텔코LLM에 질문을 입력해 해결 방안을 답변으로 받아볼 수 있다. 사람이 직접 정보를 찾는 것보다 대응 시간을 단축 시킬 수 있는 셈이다.

텔코LLM의 궁극적 목표는 통신사들이 AI컨택센터(AICC), 유통망, 네트워크 운용, 사내 업무 등 활용처와 특정 업무마다 최적화된 LLM을 제공하는 것에 방점을 찍고 있다. SK텔레콤은 한국어로 된 통신 관련 데이터를 학습시켜 다양한 통신 특화 LLM 라인업을 갖추고 성능과 비용 절감 면에서 다변화를 꾀했다.

정민영 SK텔레콤 AI플랫폼 담당은 "고객센터, 인프라 뿐만 아니라 마케팅·유통망 등 고객 접점이나 법무, HR와 같은 사내 업무까지 통신사 운영의 다양한 영역에서 텔코LLM이 업무 효율성을 높일 것"이라며 "지속적으로 텔코LLM을 활용한 유즈케이스를 늘려갈 계획"이라고 밝혔다.

 

한편, SK텔레콤은 통신사들이 생성형 AI 애플리케이션을 효율적으로 구축, 개발할 수 있는 '인텔리전스 플랫폼'도 개발 중이다. 멀티LLM부터 멀티모달, 오케스트레이션, 검색증강생성(RAG) 등까지 아우르는 일종의 '기업용 AI 개발·운용 패키지'다. SK텔레콤은 인텔리전스 플랫폼을 에이닷 등의 서비스 등에 적용 중이며, 적용 사례를 지속 확대할 예정이다.