우수 모델은 NIA와 업스테이지가 운영중인 ‘Open-Ko LLM 리더보드(이하 리더보드)’을 통해 접수된 1134개 LLM(’24.2.9 마감 기준) 대상으로 5개 성능 지표에 따라 성능을 측정하여 선정했다.
Open Ko-LLM 리더보드는 글로벌 최대 AI 개발자 오픈소스 커뮤니티인 허깅페이스의 LLM 리더보드(영어 버전)를 벤치마크하여 구축한최초의 한국어 초거대 언어 모델 성능 평가 체계다. 추론능력, 상식능력, 언어이해력, 환각방지능력, 한국어 상식생성능력을 평가한다.
|
대화(chat) 기반 AI 모델은 좋은 사전학습 모델을 기반으로 튜닝을 진행하는 것이 중요하므로, 이번 시상은 근간이 되는 ‘사전학습(Pretrained) 모델’과 응용을 하는 ‘파인튜닝(Finetuning) 모델’로 분야를 나누어 가장 우수한 점수를 획득한 모델을 선정하여 시상했다.
Pretrained 모델은 사전에 학습시킨 모델이고, Finetuning 모델은 목표하는 데이터로 미세 조정한 모델이다.
그 결과 사전학습 모델 부문에서는 ‘야놀자’가, 파인튜닝 부문에서는 ‘㈜이든티앤에스’가 1위를 차지하고 NIA 원장상을 수상했다.
리더보드의 목적은 한국어 LLM 평가 생태계 구축이며, 생태계의 핵심은 표준화(Standardization)다.
NIA와 업스테이지는 이러한 표준화를 잘 이루어낼 수 있도록 다양한 능력을 평가할 수 있는 평가지표를 추가하고, 평가방식 등을 지속적으로 개선해 나갈 계획이다.
또한 NIA는 국내 자연어처리 분야의 최정상급 교수님들로 구성된 리더보드 운영위원회를 통해 리더보드의 활성화와 발전 방향을 도출해 나갈 예정이다.
NIA 황종성 원장은 “국내 리더보드에서 우수한 성적을 보인 기업이 글로벌 리더보드에서도 독보적인 위치를 차지하는 등 Open Ko-LLM 리더보드의 수준이 매우 높아지고 있다. 앞으로도 국내 기업의 초거대 언어모델 역량 강화와 민관협력을 위해 적극 지원하겠다”고 밝혔다.
각 부문 1위를 수상한 ‘야놀자’와 ‘㈜이든티앤에스’는 “자사의 초거대 언어모델 성능과 기술력을 인정 받을 수 있는 기회가 주어져 매우 기쁘며 지속적으로 발전 시켜 나가겠다”고 소감을 밝혔다.
