모의 프롬프트로 LLM 공격해 안전성 검증하이퍼클로바X 안전성 강화, 노하우 공유
  • ▲ ⓒ네이버
    ▲ ⓒ네이버
    네이버가 과학기술정보통신부가 주최하는 ‘생성형 AI 레드팀 챌린지’에 대표 파트너사로 참여한다고 21일 밝혔다.

    생성형 AI 레드팀 챌린지는 초거대 언어모델의 안전성, 신뢰성, 보안을 강화하기 위한 방법을 모색하고자 진행하는 행사다. 11일에는 실제 서비스되고 있는 LLM에 참가자들이 모의로 프롬프트 공격을 하여 모델의 안전성을 검증하는 ‘생성형 AI 레드팀 챌린지’ 대회가 개최된다. 전공과 상관없이 AI 윤리, 안전에 관심이 있는 국민 누구나 사전 신청을 통해 참여 가능하며, 우수 참가자들에게는 총 1700만원 규모의 상금 혜택이 제공된다.

    2일차인 12일에는 안전한 AI 개발을 주제로 국내·외 AI 기술 리더들의 발표와 의견 교류가 이뤄지는 컨퍼런스가 진행된다. 북미 AI 스타트업 ‘코히어’의 공동 창업자 에이단 고메즈, 해외 빅테크의 공동 출자로 만들어진 AI 윤리·안전 포럼 ‘프런티어 모델 포럼’의 대표이사 크리스 메세롤, 비영리기구 ‘AI 안전센터’ 총괄 댄 헨드릭스 등 AI 안전성 연구를 이끌고 있는 인사들이 컨퍼런스 연사로 나선다.

    네이버는 대표 파트너사로서 행사를 운영하며 LLM 안전성 검증과 강화, 안전한 AI 개발을 위한 전문가 논의에 참여한다. 생성형 AI 레드팀 챌린지 참가자들이 국내 최고 수준 LLM의 안전성을 직접 검증하고 실험할 수 있도록 ‘하이퍼클로바X’를 제공한다. 이번 대회를 통해 축적된 검증 데이터를 기반으로 하이퍼클로바X의 안전성을 한층 강화할 계획이다.

    하정우 네이버 퓨처 AI 센터장은 “하이퍼클로바X의 안전성을 검증하는 것은 물론, 여러 선행 연구와 서비스 운영 경험을 통해 쌓아온 AI 안전성 기술 역량과 노하우를 공유할 것”이라고 말했다.