업스테이지, 한국어 AI 모델 평가 돕는 ‘클루 리더보드’ 공개

by김호준 기자
2021.08.02 18:28:53

업스테이지 CI.

[이데일리 김호준 기자] 인공지능(AI) 전문 스타트업 업스테이지는 한국어 AI 모델 평가가 가능한 ‘클루 리더보드’를 공개했다고 2일 밝혔다.

클루(KLUE)는 업스테이지가 한국어 자연어 처리 산학계 전문가들과 7개월에 걸쳐 개발한 최초 ‘한국어 자연어 이해 평가’ 관련 공개 데이터셋이다. 그동안 자연어 이해 연구의 기반이 되는 데이터셋과 리더보드는 영어 기반으로 이루어져 있고 이용 제약도 많아 연구 진행이 쉽지 않았다.

업스테이지 측은 “AI의 한국어 이해 능력을 평가할 수 있는 클루는 재배포·재가공·영리적 활용이 가능해 한국어 자연어 처리 분야의 발전을 이끌 수 있을 전망“이라고 설명했다.



클루를 사용해 AI 모델 평가를 받고자 할 경우 클루 프로젝트 홈페이지에 접속해 데이터셋을 설치하고 테스트하고 싶은 AI 모델을 학습시킨 후 리더보드에 제출하면 된다. 평가 항목은 8가지 부문으로 구분해 공신력을 높였다. 문장 주제 분류와 문장 유사도 비교, 자연어 추론, 개체명 인식, 관계 추출, 형태소 및 의존 구문 분석, 기계 독해 이해, 대화 상태 추적 등이다.

AI 모델 개발자는 자신이 만든 모델이 한국어의 정확한 이해와 추론 능력을 갖추고 있는지 객관적인 지표로 평가 받을 수 있다. 특히 공개 토론방을 중심으로 참여자 간 정보와 의견 교환이 가능해 공정한 경쟁 속에서 AI 언어 모델을 업그레이드해 나갈 수 있다.

김성훈 업스테이지 대표는 “앞으로도 업스테이지만의 독보적인 기술력을 바탕으로 한국어 AI 연구 생태계를 넓히고 국내 AI 산업 발전에 보탬이 되기 위해 힘쓸 계획”이라고 말했다.