SK쉴더스 “AI 거대언어모델 활용한 해킹사례 속출, 보안대책 필요”

SK쉴더스는 상반기 가상자산 탈취, 딥페이크 해킹 공격 사례를 공유하면서 향후 AI를 활용한 해킹 사례가 늘어날 것으로 내다봤다. 이에 따른 보안 대책이 절실하다는 지적이다.

SK쉴더스가 2일 올해 상반기 주요 보안 트렌드를 분석하고 AI 거대언어모델에 대한 보안 대응전략을 제시하는 세미나를 개최했다.

이날 발표는 화이트해커 전문가 그룹 EQST(이큐스트)가 상반기 해킹 사고 사례와 연구 결과를 토대로 분석한 내용을 바탕으로 진행됐다. 특히, AI LLM(거대언어모델)의 취약점을 이용한 공격 3가지를 시연하고 보안 대책을 발표했다.

SK쉴더스는 “LLM이 해커 공격 보조수단으로 활발히 적용되고 있다”며 “AI를 활용한 사이버 공격이 정교화되고 고도화될 것으로 예상된다”고 분석했다.

EQST는 딥페이크 해킹 공격과 가상자산 탈취가 상반기에 화제가 됐다고 밝혔다. 홍콩 금융사 직원이 직원얼굴을 재현한 딥페이크 화상회의에 속아 340억원을 송금한 사례가 있었다. 5월에는 블록체인 기반의 게임 플랫폼이 인증정보 탈취를 통해 300억원의 가상자산을 도난당하는 사건도 발생했다.

업종별 침해사고 발생 통계를 살펴보면 국내에서는 금융업을 대상으로 한 침해사고가 20.6%로 가장 높은 비중을 차지했다. 비트코인 ETF 승인 등의 이슈로 가상자산의 가치가 상승하면서 이를 노린 해킹 공격이 지속됐다. 국외에서는 러시아, 이스라엘 등 국제 분쟁으로 인해 정부와 공공기관을 대상으로 한 공격 비중이 26.7%로 가장 많았다.

유형별 사고 발생 통계로는 취약점 공격이 45%로 가장 많이 발생했다. 원격지원 솔루션의 취약성을 이용하거나, 네트워크 장비를 통한 공격이 늘어났기 때문으로 조사됐다. 특히 네트워크 장비의 취약점을 활용한 공격은 지난해 같은 기간에 비해 2배 이상 증가했다.

EQST는 생성형 AI가 급속도로 발전하며 AI가 가져올 수 있는 보안위협에 관한 연구결과를 발표했다.

SK쉴더스는 “기업에서는 LLM과 기업 내부 데이터를 활용해 경량화 언어모델로 구축, 도입하는 추세”라며 “LLM을 학습시킬 때 민감정보 필터링이 미흡하면 답변에 학습된 민감정보가 출력될 수 있어 추가 보완책이 필요하다”고 강조했다.

특히, AI LLM 서비스에서 발생할 수 있는 10가지의 취약점을 분석하고 이 중 위험도가 높은 3가지로 ▲프롬프트 인젝션 ▲불안전한 출력 처리 ▲민감정보 노출을 시연했다.

프롬프트 인젝션은 공격자가 악의적인 입력을 통해 의도한 답변을 이끌어내는 취약점이다. 공격방식은 목표경쟁이나 난독화로 나타나며 악성코드 생성이나 마약 제조, 개인정보 탈취 등에 악용될 수 있다.

시연 영상에서는 챗GPT가 마약 관련 질문에 대해 대답을 회피하는 정상 답변을 해주는 모습과 취약점을 활용한 방식을 비교했다. rot13 기법을 활용, 암호화를 거쳐 서버에 보내면 이전 응답과 다르게 답변을 거부하지 않고 마약 관련 답변을 해주는 모습을 확인할 수 있었다.

두 번째로는 ‘불안전한 출력 처리’ 취약점이다. 이 취약점은 LLM이 생성한 출력물을 시스템이 적절하게 처리하지 못할 때 발생하는 것으로, 다른 2차 공격으로 이어질 수 있어 위험도가 높다.

공격자가 원격 접속 코드 실행 요청이 포함된 내용을 챗봇에 질문하고 챗봇이 원격 접속 코드를 실행하게 만드는 방식이다. 공격자가 AI LLM 운영 서버를 장악해 중요 정보를 탈취하거나 랜섬웨어 피해가 나타날 수 있다.

또한 LLM 모델을 학습시킬 때 민감 정보 필터링이 미흡한 경우, LLM이 생성하는 답변에 학습된 민감 정보가 출력될 수 있어 학습 데이터에 가명 처리를 하거나 데이터를 검증하는 등의 추가적인 보완책이 필요하다는 설명이다.

개인정보가 포함되거나 애플리케이션의 권한 관리 미흡으로 생길 수 있는 ‘민감 정보 노출’ 취약점을 분석하며 DB 정보를 탈취하는 공격을 시연했다. 이용자가 챗GPT에 업로드한 소스 코드를 공격자가 접근할 수 있는 권한을 무단으로 획득하는 식이다.

SK쉴더스는 LLM 사용시 ‘프롬프트 보안 솔루션’을 도입하거나, ‘데이터 정제 솔루션’을 고려할만하다고 제시했다. 프롬프트 입출력에 대한 보안을 적용하고, AI 모델 학습 시 데이터를 신뢰할 수 있도록 정제해서 사용하는 것이 중요하다는 설명이다. 또한, 안전한 AI 활용을 위한 보안 대책으로 모델 개발자와 서비스 개발자, 서비스 사용자로 나눈 ‘AI 보안 체크리스트’도 제안했다.

다양한 산업분야에서의 취약점 점검, 모의해킹을 수행하며 보안 수준을 높여온 경험을 바탕으로 AI 인프라 운영에 특화된 제로 트러스트 환경 구축과 운영 체계 수립 서비스를 제공할 예정이다. 또한 기업에서 SBOM(소프트웨어 자재 명세서) 등을 활용해 보안 이력을 관리할 수 있는 대책을 제시하는 등의 전략을 선보일 방침이다.

김병무 SK쉴더스 정보보안사업부장(부사장)은 “전 산업 분야에 AI 기술 접목이 확산되면서 이를 노린 보안 위협이 현실화되고 있어 체계적인 대비가 필요하다”며 “선제적으로 보안 트렌드 변화에 발맞춘 연구 결과물을 지속적으로 공개하며 생성형 AI 시대의 보안 전략을 제시해 나가겠다”고 말했다.