과기부, 독파모 2차 평가 점수 공개···SKT 70.6점 1위

전문가·사용자 평가서 순위 결정적 차이

모티프, 벤치마크 1위에도 종합 순위서 탈락

업스테이지, LG AI연구원 뒤이어 상위 3개팀 진출

그래픽=홍연택 기자

과학기술정보통신부가 '독자 인공지능(AI) 파운데이션 모델(독파모)' 프로젝트 2차 단계평가 세부 점수를 공개했다. SK텔레콤이 종합평가에서 70.6점으로 1위에 올랐으며 업스테이지와 LG AI연구원이 뒤를 이었다.

27일 과기정통부에 따르면 독파모 2차 단계평가 종합점수는 SK텔레콤 70.6점, 업스테이지 69.9점, LG AI연구원 69.0점, 모티프테크놀로지스 65.8점 순으로 집계됐다. 이에 따라 상위 3개 팀이 다음 단계에 진출했다.

이번 공개는 2차 평가에서 탈락한 모티프가 평가 결과에 이의를 제기하고 세부 평가 결과 공개를 요청한 데 따른 것이다. 다른 정예팀들도 세부 결과 공개에 동의했다.

이번 평가는 △AAII·NIA 벤치마크 평가 △전문가 평가 △사용자 평가로 진행됐다. 배점은 AAII 25점, NIA 15점, 전문가 평가 35점, 사용자 평가 25점 등 총 100점이다.

항목별로 보면 모티프는 벤치마크 평가에서 24.6점을 받아 1위를 차지했다. 이어 업스테이지는 22.7점, SK텔레콤 22.2점, LG AI연구원 20.6점이었다.

AAII에서는 모티프가 11.9점으로 가장 높았으며, NIA 벤치마크에서는 SK텔레콤이 13.4점으로 1위를 기록했다.

반면 전문가 평가에서는 LG AI연구원이 29.5점으로 가장 높은 점수를 받았다. SK텔레콤이 29.3점, 업스테이지가 29.1점으로 뒤를 이었으며 모티프는 27.1점이었다.

전문가 평가는 산업계와 학계, 연구계 외부 전문가 10명이 개발 전략 및 기술, 개발 성과 및 계획, 파급효과 및 기여계획 등을 평가하는 방식으로 진행됐다.

사용자 평가에서는 SK텔레콤이 19.1점으로 1위에 올랐다. LG AI연구원은 18.9점, 업스테이지는 18.1점, 모티프는 14.1점을 기록했다. AI 전문 사용자 49명과 일반 국민 185명이 각 팀의 AI 모델을 직접 사용한 뒤 사용성 등을 평가했다.

이에 따라 모티프는 벤치마크 평가에서 1위를 기록했지만 전문가와 사용자 평가에서 모두 4위에 머물면서 종합점수에서 밀렸다.

SK텔레콤은 벤치마크 3위, 전문가 2위, 사용자 1위를 기록하며 총점 70.6점으로 최종 1위를 차지했다.

이와 관련해 과기정통부 측은"독파모가 단순한 순위 경쟁이나 탈락팀 선정을 위한 사업이 아니라 국내 AI 기업의 성장과 생태계 확장을 위한 프로젝트"라며 "이번 결과 공개 이후에도 우리 기업이 단순한 점수나 순위로 평가 받기 보다 우리 AI 생태계가 새롭고 경쟁력 있는 AI 기업들이 끊임없이 도전하는 생태계로 발전해 나가기를 기대한다"고 밝혔다.