벤치마크, 전문가·사용자 평가에서 NC AI 탈락네이버클라우드, 독자성 기준을 충족 못해 결국 고배탈락 기업 및 역량 있는 기업 1개 정예팀 추가 선정키로
  • ▲ 배경훈 부총리 겸 과학기술정보통신부 장관, 하정우 청와대 AI미래기획수석 등을 비롯한 참석자들이 지난해 12월 30일 오후 서울 강남구 코엑스에서 열린 '독자 AI 파운데이션 모델' 프로젝트 1차 발표회에서 기념촬영을 하고 있다.ⓒ뉴데일리DB
    ▲ 배경훈 부총리 겸 과학기술정보통신부 장관, 하정우 청와대 AI미래기획수석 등을 비롯한 참석자들이 지난해 12월 30일 오후 서울 강남구 코엑스에서 열린 '독자 AI 파운데이션 모델' 프로젝트 1차 발표회에서 기념촬영을 하고 있다.ⓒ뉴데일리DB
    정부가 주도하는 독자 AI 파운데이션 모델(이하 독파모) 프로젝트 1차전에서 네이버클라우드, 업스테이지 컨소시엄이 고배를 마셨다. 이에 LG AI연구원, SK텔레콤, 업스테이지 3개 컨소시엄만 2차전에 진출할 수 있게 됐다. 

    과학기술정보통신부, 정보통신산업진흥원, 한국정보통신기술협회는 15일 정부 서울청사에서 독파모 프로젝트 1차 단계평가 결과 이와 같은 결론을 냈다고 밝혔다. 

    그간 과기정통부와 NIPA, 5개 정예팀은 여러 차례의 심층 논의를 거쳐, 1차 단계평가 방안과 기준을 마련했다. 이번 1차 단계평가는 ①벤치마크, ②전문가, ③사용자 평가를 진행하며 AI모델 성능(AI Frontier Index)과 실제 현장 등에서의 활용 가능성과 모델크기 등의 비용 효율성, 국내외 AI생태계 등으로의 파급효과·계획 등을 포함한 사용성·파급효과(AI Diffusion Index) 등을 종합적으로 평가했다.

    특히 NIA 벤치마크 평가의 경우 수학, 지식, 장문이해 뿐 아니라, AI안전연구소와 협업해 신뢰성, 안전성 분야까지 폭넓게 평가가 이뤄졌고, 글로벌 공통 벤치마크 평가는 세계적으로 인정되는 벤치마크 13종(에이전트, 수학, 지식·추론, 지시 준수 등 다수 영역 분포)을 선정해 평가가 진행됐다. 

    NIA 벤치마크 평가는 SKT과 LG AI연구원이 10점 만점 중 9.2점의 최고점을 득점했으며, 글로벌 공통 벤치마크 평가는 LG AI연구원이 20점 만점 중 14.4점의 최고점을 득점을 기록했다. 글로벌 개별 벤치마크 평가는 업스테이지와 LG AI 연구원이 10점 만점 중 10.0점의 최고점을 득점했다.

    이를 종합한 벤치마크 평가 점수는 LG AI연구원이 33.6점의 최고점을 득점하였다. 5개 정예팀 평균은 30.4점이다.

    전문가 평가는 총 10명의 산학연 외부 AI 전문가로 평가위원회를 구성하여, 각 팀이 제출한 자료를 바탕으로 장기간의 심층 평가를 추진했으며, 개발 전략 및 기술, 개발 성과 및 계획, 파급효과 및 기여계획을 종합 평가했다.

    전문가 평가 점수는 LG AI연구원이 35점 만점 중 31.6점의 최고점을 득점하였다. 평균 점수는 28.56점이었다.

    사용자 평가는 AI 스타트업 대표 등 49명의 AI 전문 사용자가 참여했으며, 정예팀이 개발한 AI모델로 구축한 AI 사용 웹사이트를 기반으로 실제 현장 에서의 활용 가능성과 추론 비용 효율성 등을 심층적으로 분석하였다.

    사용자 평가 점수는 LG AI연구원이 25점 만점 중 25.0점의 최고점을 득점, 평균 20.76점을 크게 상회했다..

    이상의 평가점수를 종합한 결과, LG AI연구원, 네이버클라우드, SKT, 업스테이지가 4개팀에 포함됐다.

    하지만 과기정통부는 이 외에 ▲기술적 ▲정책적 ▲윤리적 측면에서의 ‘독자 AI 파운데이션 모델’ 기준에서 네이버클라우드 정예팀의 AI모델이 독자성 기준을 충족시키지 못한 것으로 판단했다. 

    과기정통부는 “전문가 평가위원들도 독자성 한계에 대한 문제를 제기했다”며 “이 같은 제반 사항을 종합적으로 고려한 결과, 네이버클라우드 정예팀은 독자 AI 파운데이션 모델 조건에 부합하지 못하는 것으로 결정했다”고 설명했다.

    이로서 독파모 1차 단계평가를 거쳐, 기존 5개 정예팀 중 LG AI연구원, 업스테이지, SKT 정예팀만 2차 단계로 진출하게 됐다.

    다만 과기정통부는 1차 단계평가 이후 정예팀에 포함되지 않은 네이버클라우드, NC AI 컨소시엄 및 그 외 역량 있는 기업 등 모두에게 기회를 열어, 1개 정예팀을 추가로 선정할 계획이다.

    추가로 선정되는 1개 정예팀에게는, GPU·데이터 지원, ‘K-AI 기업’ 명칭 부여 등 독자 AI 파운데이션 모델 개발에 도전할 수 있는 기회를 제공할 예정이며, 행정적 절차를 조속히 진행하여 정예팀 1곳의 추가 공모를 신속히 추진할 계획이다. 

    과기정통부는 “이번 프로젝트는 대한민국이 글로벌 AI 경쟁에서 독자적 기술로 당당히 맞서기 위한 역사적 도전”이라며, “정부는 독자 AI 파운데이션 모델을 반드시 확보하여 지속 가능하고 건강한 AI 생태계를 구축하고, 대한민국이 글로벌 AI 기술 경쟁의 선두에 설 수 있도록 가용한 모든 국가역량과 자원을 집중하겠다”고 밝혔다.