AAII 벤치마크와 전문가 평가 결과가 크게 엇갈린 만큼, 전문가 평가에서 어떤 기술적 요소가 높은 점수로 이어졌는지, 평가위원들이 어떤 기준으로 판단했는지 확인할 수 있어야 한다는 것이다.
과학기술정보통신부는 이번 평가가 특정 벤치마크 성적만으로 순위를 정하는 방식이 아니라 전문성·사용성·산업적 파급효과 등을 종합적으로 평가했다고 설명했다.
|
반면 글로벌 AI 벤치마크인 인공지능지수(AAII) 평가에서는 모티프테크놀로지스가 25점 만점에 11.9점으로 1위를 차지했고, LG AI연구원은 4개 팀 가운데 최하위였다. AAII 순위는 모티프테크놀로지스, 업스테이지, SK텔레콤, LG AI연구원 순이다.
AAII 1위 모티프테크놀로지스는 탈락한 반면 AAII 최하위였던 LG AI연구원은 전문가 평가에서 1위에 오르면서 평가 영역별 결과가 크게 엇갈렸다.
AI업계에서는 결과 자체보다 평가 과정과 판단 근거를 확인할 수 있어야 한다는 목소리가 나온다.
한 전문가는 “전문가 평가에서 AI 모델 개발 방법론과 기술적 성과를 제대로 판단할 수 있는 전문성을 갖춘 평가위원들이 참여했는지가 중요하다”며 “누가 어떤 기준으로 모델의 기술적 성과와 개발 전략을 평가했는지 확인할 필요가 있다”고 말했다.
이어 “각 정예팀과의 이해충돌 문제 때문에 실제 AI 모델 개발과 기술을 가장 깊이 이해하는 전문가들이 심사에서 제외됐을 가능성도 있다”며 “그렇다면 평가위원들이 어떤 전문성을 바탕으로 기술적 성과를 판단했는지 따져볼 필요가 있다”고 지적했다.
또 다른 전문가는 공개된 LG AI연구원의 기술 자료를 근거로 전문가 평가에서 최고점을 받은 배경을 보다 구체적으로 설명할 필요가 있다고 주장했다.
이 전문가는 “LG 테크 리포트를 보면, 크기는 키웠는데 SFT를 제대로 못했다. 그러니까 뭐가 혁신이냐”면서 “벤치마크 결과와 관련이 있을 수 밖에 없는 전문가 평가 1위가 이해하기 어렵다”고 지적했다. 단순히 모델 규모를 키운 것만으로 전문가 평가에서 높은 기술적 점수를 받은 배경을 설명하기 어렵다는 취지다. SFT(Supervised Fine-Tuning)는 사람이 정답을 제시한 데이터를 활용해 AI 모델의 답변 능력을 추가로 학습시키는 지도 미세조정 방식이다.
|
과기정통부에 따르면 전문가 평가는 산업계 3명, 학계 5명, 연구계 2명 등 외부 전문가 10명이 참여해 서면평가와 질의응답 방식으로 진행됐다.
평가 항목은 개발 전략 및 기술 10점, 개발 성과 및 계획 10점, 파급효과 및 기여계획 15점 등 총 35점이다. 글로벌 벤치마크인 AAII의 배점 25점보다 높다.
개발 전략 및 기술에서는 개발 기술의 우수성과 혁신성, 기술적 독자성, 성능 향상 수준, 자원 활용 및 처리 효율성, 안전하고 신뢰성 있는 AI 모델 개발 기술 등을 평가했다. 개발 성과 및 계획과 생태계·글로벌 파급효과도 평가 대상에 포함됐다.
팀별 점수는 평가위원별 점수 가운데 최고점과 최저점을 제외한 나머지 점수를 산술평균해 산출했다.
다만 평가위원들이 구체적으로 어떤 질문을 던졌고 기업들이 어떻게 답했는지, 어떤 기술적 요소가 높은 점수로 이어졌는지 등 세부적인 판단 근거는 공개되지 않았다.
업계에서는 평가위원 개인의 신상 공개까지 요구하는 것은 아니더라도 팀별 세부 점수와 평가 항목별 점수, 주요 판단 근거 등을 공개할 필요가 있다고 주장한다.
한 전문가는 “개발 전략과 기술적 성과를 평가했다면 어떤 질문이 나왔고 기업들이 어떻게 답했으며, 평가위원들이 어떤 근거로 점수를 줬는지 확인할 수 있어야 한다”며 “그렇지 않으면 전문가 평가라는 이름만 있을 뿐 실제로 어떤 전문성을 바탕으로 평가했는지 검증하기 어렵다”고 말했다.
|
과기정통부는 이번 평가가 특정 글로벌 벤치마크만으로 최종 순위를 정하는 방식은 아니었다고 설명했다.
2차 평가는 총 100점으로 벤치마크 40점, 전문가 평가 35점, 사용자 평가 25점으로 구성됐다.
글로벌 AAII 벤치마크에서는 모티프테크놀로지스가 11.9점으로 1위를 차지했지만, NIA 벤치마크에서는 SK텔레콤이 13.4점으로 가장 높았다. AI 전문 사용자 평가에서도 SK텔레콤이 11.6점으로 1위였고, 일반 국민 평가에서는 LG AI연구원이 7.6점으로 최고점을 받았다.
각 평가 영역에서 강점을 보인 팀이 달랐다는 게 과기정통부의 설명이다.
과기정통부는 모티프테크놀로지스의 탈락과 관련해 단순히 활용성만 낮았던 것이 아니라 전문성과 사용성 모두에서 전반적으로 점수가 낮았으며 “성능이 안 나온 것은 사실”이라고 설명했다.
모티프테크놀로지스가 강점을 보인 글로벌 공개 벤치마크 외에 국내 환경을 반영한 NIA 벤치마크와 전문가 평가, 실제 사용자 평가 등을 종합하면 최종 결과가 달라질 수밖에 없었다는 설명이다.
과기정통부는 사용자 평가 역시 단순한 웹사이트 디자인이나 UI·UX가 아니라 AI 모델이 생성하는 콘텐츠의 내용과 품질을 중심으로 진행했다고 설명했다. AI 전문 사용자 49명과 일반 국민 185명이 실제 AI 서비스를 이용해 평가했다.
‘왜 이런 결과가 나왔나’
이번 논란은 AAII 1위인 모티프테크놀로지스의 탈락이나 LG AI연구원의 전문가 평가 1위 자체보다, 서로 다른 평가에서 강점을 보인 모델들이 어떤 기준과 배점으로 종합됐는지를 얼마나 투명하게 설명할 수 있느냐에 초점이 맞춰지고 있다.
과기정통부 입장에서는 글로벌 벤치마크 하나만으로 국가대표 AI를 선정할 수 없고, 국내 환경에서의 성능과 기술 개발 역량, 실제 사용성, 산업적 파급효과 등을 함께 봐야 한다는 것이다.
반면 업계 일각에서는 그 취지에는 공감하더라도 전문가 평가가 전체 평가의 35%를 차지하는 만큼, LG AI연구원이 29.5점을 받은 구체적인 이유와 다른 팀과의 점수 차이가 어느 정도였는지 확인할 수 있어야 한다고 주장한다.
과기정통부는 항목별 1위와 최고점, 4개 팀 평균 점수 등을 공개했지만 팀별 세부 점수와 점수 차이까지는 공개하지 않았다. 국가 예산이 투입되는 국가대표 AI 선발 과정인 만큼, 단순히 어느 팀이 1위를 했는지를 넘어 왜 그런 결과가 나왔는지 검증할 수 있는 수준의 평가 정보 공개가 필요하다는 지적이다.
