독파모 AAII 1위에도 탈락한 모티프 '반발' … 과기정통부 "평가점수 공개 범위 검토"

독자 인공지능(AI) 파운데이션 모델(독파모) 사업 2차 평가에서 탈락한 모티프테크놀로지스가 평가 결과에 공식 이의를 제기했다. 글로벌 AI 종합 성능지표인 AAII에서 참여 모델 가운데 가장 높은 점수를 받고도 탈락한 데 대해 세부 평가점수 공개와 재심의를 요구했다. 정부는 평가 기준이 참여 기업들과 사전 합의를 거쳐 마련됐다고 설명하면서 평가점수의 전체 공개 범위를 검토하기로 했다.

27일 모티프는 독파모 2차 단계 선정 결과와 관련해 과학기술정보통신부에 정식으로 이의신청을 제출했다고 밝혔다.

모티프는 전체 평가 항목별·업체별 상세 점수와 평가 내용 공개를 요구했다. 이와 함께 벤치마크 평가 배점 산정 근거, 전문가 평가의 상세 기준과 판단 근거, 사용자 평가 방법론과 블라인드 평가 적용 여부 등을 공개하고 평가 결과를 재심의해 달라고 요청했다.

쟁점은 벤치마크에서 나타난 모델 성능과 최종 평가 결과의 차이다.

모티프가 2차 평가에 제출한 '모티프 3'는 글로벌 AI 평가기관 아티피셜 애널리시스의 종합 성능지표인 AAII에서 47점을 기록했다. 업스테이지 37점, SK텔레콤 35점, LG AI연구원 31점보다 높았다.

하지만 지난 18일 발표된 독파모 2차 종합평가에서는 가장 낮은 점수를 받아 탈락했다. 2차 평가는 총 100점 가운데 벤치마크 평가 40점, 전문가 평가 35점, 사용자 평가 25점으로 구성됐다. 벤치마크 평가는 AAII 25점과 한국지능정보사회진흥원(NIA) 평가 15점으로 나뉜다.

모티프는 실제 벤치마크 성능 차이가 최종 배점에 충분히 반영되지 않았다고 주장했다. 글로벌 프론티어 모델의 AAII 점수인 63점을 25점 만점 기준으로 환산하면 15.75점에 불과하고, 모티프 47점과 LG AI연구원 31점의 16점 차이도 최종 배점에서는 4점으로 줄어든다는 설명이다.

모티프는 "AAII에서 모델 간에 47점과 31점이라는 상당한 차이에도 불구하고 글로벌 주요 벤치마크 결과와 전문가 평가가 상반된 결과가 발생한 이유와 배경에 대해서 기업과 업계가 이해할 수 있도록 보다 구체적으로 설명될 필요가 있다"고 밝혔다.

전문가 평가에도 의문을 제기했다. 모티프는 LG AI연구원이 전문가 평가에서 1위를 차지한 것으로 파악하고 있다며, AAII 점수가 가장 낮았던 모델이 전문가 평가에서 가장 높은 점수를 받은 데 대한 구체적인 판단 근거를 공개해 달라고 요구했다.

특히 전문가 평가 과정에서 컨소시엄 주관·참여기업 중 외국계 자본이나 해외 법인이 의결권 있는 주요 주주로 참여하고 있는 기업이 있는지를 묻는 서면 질문을 받았다며 해당 질문이 어떤 평가 목적과 기준에 따라 활용됐는지도 설명이 필요하다고 주장했다.

사용자 평가에서는 블라인드 평가 여부를 문제 삼았다. 대기업과 상대적으로 인지도가 낮은 스타트업의 모델을 평가하면서 개발사를 사전에 알 수 있었다면 브랜드 인지도나 선입견이 결과에 영향을 미칠 가능성을 배제하기 어렵다는 것이다.

정부는 평가 기준이 평가 과정에서 임의로 변경됐다는 지적에는 선을 그었다.

김경만 과기정통부 인공지능정책실장은 이날 기자들과 만나 "이 기준은 참여하는 업체 간의 합의를 통해서 만들어지는 것이고 정부가 일방적으로 결정하지 않는다"며 "이 기준은 6월 17일 이미 다 공지를 했다"고 말했다.

정부에 따르면 1차 평가 이후 모델의 독자성을 강화하고 단순히 만드는 데 그치지 않고 실제 어떻게 활용되는지 살펴봐야 한다는 지적이 제기됐다. 이에 2차 평가에서는 전문가 평가의 활용성 배점을 기존 10점에서 15점으로 높이고 사용자 평가 25점을 반영했다.

김 실장은 "사업계획서 목적을 보면 성능 목표도 있지만 서비스 목표도 있다"며 "결국 성능도 중요하지만 이걸 잘 쓰라는 게 사업의 목적 중 하나"라고 설명했다.

정부는 AI 기술 변화에 맞춰 평가 기준 역시 유연하게 적용할 필요가 있다는 입장이다. 최근 모델 경쟁에서 AI 에이전트와 고난도 추론, 코딩 역량 등이 빠르게 부각되는 만큼 장기간 동일한 기준을 유지하는 것은 기술 변화 속도와 맞지 않을 수 있다는 설명이다.

김 실장은 "AI가 2개월 내지 3개월 만에도 계속 흐름이 바뀌는데 그 흐름을 그대로 가지고 평가한다는 것도 맞지 않는 것 같다"며 "평가 기준은 상황에 맞춰서 할 수 있다고 생각한다"고 말했다.

다만 평가 기준을 변경할 경우에도 참여 기업들과 논의를 거쳐야 한다는 원칙을 강조했다. 김 실장은 "정부가 생각하는 공정성이나 객관성에 대한 가치는 변함이 없다"고 말했다.

모티프가 요구한 평가점수 공개에 대해서는 추가 공개 가능성을 열어뒀다. 정부는 개별 기업에 자사 평가 결과와 함께 1위 점수와 평균 수치를 포함한 상세 결과를 전달한 상태다.

김 실장은 "1차 발표 이후 탈락 기업이 겪은 낙인 효과와 부작용을 깊이 우려했다"며 "개별 기업에는 이미 1위 점수와 평균 수치를 포함한 상세 결과를 전달했다"고 말했다.

이어 "전체 공개 범위는 공정성과 생태계 파급력을 고려해 내부 검토 후 결정하겠다"고 밝혔다.

이의신청은 규정에 따라 15일 이내 처리될 예정이다. 정부는 평가위원의 전문적 판단 자체를 다시 심사하기보다는 평가 절차와 형식상 부당함이 있었는지를 중심으로 검토한다는 입장이다.

김 실장은 "이의신청은 평가 절차와 형식상의 부당함이 있었는지 중점적으로 검토하게 된다"며 "규정에 따라 15일 이내 검토를 거쳐 전담 기관 등을 통해 최종 결정을 내릴 예정"이라고 설명했다.

정부는 이번 탈락이 모티프의 기술력 자체에 대한 부정적인 평가로 받아들여지는 것도 경계했다. 경쟁 방식에 따라 순위가 정해질 수밖에 없지만 평가 결과가 특정 기업이나 모델에 대한 '낙인 효과'로 이어지는 것은 바람직하지 않다는 취지다.

김 실장은 "모티프도 잘하고 다른 기업들도 정말 잘한다"며 "평가받은 업체들이 좋은 점이 많음에도 불구하고 안 좋은 점이 부각돼 마치 안 좋은 모델처럼 보는 것을 우려했다"고 말했다.

모티프는 이번 이의신청이 독파모에 다시 선정되기 위한 것은 아니라고 선을 그었다.

모티프는 "이의 제기는 저희가 독파모에 선정돼야 한다는 주장을 위한 것이 아니다"라며 "독파모가 무엇을 위한 것인지 합의를 이끌어내고, 저희와 다른 경쟁업체들이 모두 동의하고 개선할 방향을 찾아가는 과정이 되기를 바란다"고 밝혔다.

이어 "이의 제기 결과와 관계없이 독파모 3차에는 참여하지 않겠다"며 "앞으로는 스스로의 힘으로 저희가 한국에서 가장 우수한 프론티어 모델을 만들고 글로벌 경쟁에서 이겨낼 수 있는 팀이라는 것을 증명하겠다"고 강조했다.

향후 독파모 3차 평가에서는 빠르게 변하는 글로벌 AI 기술 흐름을 반영해 평가 기준을 조정할 방침이다.

김 실장은 "2차 평가를 진행하는 사이 AI 에이전트, 고난도 추론, 코딩 등 글로벌 AI 개발 트렌드가 급격하게 전환됐다"며 "3차에서는 참여 기업과 함께 개발 방향과 평가 방식을 논의해 무빙 타깃을 설정할 것"이라고 말했다.

LG AI연구원과 SK텔레콤, 업스테이지 등 3개 팀을 3차 평가를 거쳐 최종 2개 팀으로 압축한다는 기존 계획은 유지한다. 정부는 이후 독파모에서 확보한 성과를 프론티어급 모델 개발 사업으로 연결하는 방안도 검토한다.

김 실장은 "정부가 일방적으로 지원하는 구조에서 지속 가능성을 확보할 수 있을지, 현재 지원 규모로 글로벌 빅테크를 이길 수 있을지에 대한 정책적인 고민"이라며 "3차 평가를 거쳐 정예 모델을 압축하고 프론티어 모델 개발 사업으로 자연스럽게 연계하는 방안을 구체화해 발표하겠다"고 말했다.