초거대 AI 개발 박차…카카오브레인, 7억4000만개 데이터셋 공개

[이데일리 김국배 기자] 카카오브레인이 초거대 인공지능(AI) 연구 개발의 저변을 넓히고자 국내 최대 규모의 이미지-텍스트 데이터셋을 외부에 공개한다.

카카오브레인은 오는 31일 약 7억4000만개의 이미지-텍스트로 이뤄진 데이터셋 ‘코요(Coyo)’를 공식 홈페이지에 공개할 예정이다. 초거대 AI 개발의 기반이자 기업의 핵심 자산인 데이터셋을 외부에 공개하는 것은 이례적이다.

데이터셋은 초거대 AI 모델이 정교한 결과값을 구현하는 데 필요한 핵심 요소 중 하나다. 대다수 기업은 높은 성능을 위해 수작업으로 이미지-텍스트 쌍을 맞춰 데이터셋을 수집하는데, 많은 비용과 시간이 투입될 수밖에 없다. 카카오브레인은 독자 개발한 기술로 이미지-텍스트를 온라인에서 자동 수집함으로써 비용과 시간을 줄이는 동시에 양질의 데이터를 선별했다. 회사 측은 “실제 유수의 글로벌 AI 기업에서 공개한 초거대 AI 모델 재현을 통해 교차 검증을 마치며 데이터 품질을 확인했다”고 설명했다.

코요는 카카오브레인이 앞서 공개한 초거대 AI 이미지 생성 모델 ‘RQ-트랜스포머’와 AI 아티스트 ‘칼로’ 개발에 적용됐다. 코요의 이름은 멕시코의 대표 화가 프리다 칼로의 고향인 멕시코시티 ‘코요아칸’의 앞글자를 딴 것이다. 칼로가 코요를 기반으로 탄생한 것처럼 코요를 통해 더 많은 AI 모델이 개발되길 바라는 포부가 담겼다.

카카오브레인은 코요를 한국어를 비롯한 다양한 언어로 개발하며 세계 최대 수준의 공개 데이터셋으로 키워 나갈 계획이다. 내년 상반기엔 코요 데이터셋을 활용한 초거대 AI 모델도 추가로 공개한다.

김일두 카카오브레인 대표는 “이번 데이터셋 공개는 초거대 AI 기술 개발에 박차를 가할 중요한 근간이자 이정표가 될 것”이라며 “앞으로도 다방면으로 기술 리더십을 선도하고 AI 커뮤니티와 협력하며 AI 생태계 발전에 이바지할 것”이라고 말했다.