AWS·코스콤 주관…14일부터 개최
-
한국거래소는 국내 자본시장에 AI 사용을 활성화하고 KRX의 미래 성장동력 발굴을 위해 ‘제3회 KRX 데이터경진대회(금융 LLM 성능 평가대회)’를 14일부터 개최한다고 13일 밝혔다.해당 대회는 거래소에서 실시하는 제3회 대외 데이터 경진대회로 KRX가 만든 자체 Benchmark(벤치마크)를 활용해 금융에 특화된 LLM(거대언어모델)의 성능을 평가한다. Benchmark란 언어 모델의 성능을 평가하기 위한 표준 데이터 테스트를 뜻하며 KRX는 원라인AI와 함께 금융에 특화된 언어 모델을 평가할 수 있는 KRX-Bench를 개발했다.KRX가 주최하는 이번 대회에는 아마존웹서비스(AWS)와 코스콤이 주관사로, 원라인AI가 대회 운영사로 참여한다. AWS는 이번 대회를 위해 클라우드 컴퓨팅 자원과 LLM 개발에 필요한 클라우드서비스(SageMaker)를 지원할 예정이다. 특히 이번 대회는 KRX 미래사업본부 출범과 연계해 인공지능(AI) 기술을 기반으로 한 KRX 비즈니스 역량 고도화에 기여할 전망이다.참가자는 오픈소스 언어 모델과 공공 데이터를 활용해 금융에 특화된 LLM을 개발하고 대회 홈페이지에 제출하면 KRX가 자체 Benchmark로 LLM의 성능을 평가한다. KRX 자체 벤치마크(KRX-Bench)는 LLM의 △지식수준(Knowledge) △추론능력(Reasoning) △충실도(Faithfulness) 등을 종합적으로 평가한다.또한 거래소는 이번 대회에서 LLM 학습·추론에 필요한 컴퓨팅 자원(GPU)과 LLM 개발도구를 지원한다. 본선 진출자에게는 LLM 개발을 위한 클라우드 교육 프로그램도 제공해 참가자의 클라우드 서비스 활용 능력을 배양할 계획이다.예선은 KRX-Bench 점수와 학습계획서 1차 평가로 상위 30팀을 선발하고 본선은 KRX-Bench 점수와 학습계획서 2차 평가 및 현장발표로 상위 5팀(최우수상 1팀, 우수상 2팀, 장려상 2팀)을 선정한다.학생, 직장인 등 개인, 법인 구분 없이 누구나 참여할 수 있으며 팀은 4인 이하로 구성해야 한다. 대회 전용 홈페이지에서 참가 신청 후 산출물(LLM, 학습 계획서, 발표자료 등) 제출하면 된다.사업성이 높다고 판단되는 산출물의 경우 해당 참가팀과 협업해 KRX의 신규 데이터사업 서비스로 고도화할 예정이다.거래소 관계자는 “이번 경진대회를 통해 신뢰할 수 있는 AI에 기반한 데이터 상품·서비스를 발굴하고 자본시장 데이터의 새로운 가치를 발견할 수 있기를 기대한다”고 밝혔다.