데이터브릭스, 생성형 AI 플랫폼 '모자이크 ML' 인수
by김가은 기자
2023.06.28 09:41:37
[이데일리 김가은 기자] 데이터브릭스는 생성형 인공지능(AI) 플랫폼 ‘모자이크ML(MosaicML)’을 약 13억달러(약 1조7000억원)에 인수한다고 28일 밝혔다.
양사는 이번 인수를 통해 생성형 AI 모델에 대한 접근성을 높여 모든 조직이 자체 데이터로 AI 모델을 구축, 소유 및 보호할 수 있도록 돕는다는 방침이다.
모자이크ML은 대규모 언어 모델(LLM) ‘MPT-7B’로 알려져 있다. MPT-7B는 공개 이후 다운로드 330만건을 기록할 정도로 인기를 끌었다. 최근에는 새로운 버전인 ‘MPT-30B’를 선보이며 기업들이 자체 데이터를 이용해 비용 효율적 방식으로 AI 모델을 구축하도록 지원하고 있다.
현재 △앨런 AI 연구소(Allen Institute for AI) △제너럴 인텔리전트(Generally Intelligent) △히포크라틱 AI(Hippocratic AI) △리플릿(Replit) △스캐터랩(Scatter Lab) 등이 모자이크ML 생성형 AI 기술을 채택해 활용 중이다.
데이터브릭스 레이크하우스 플랫폼에 모자이크ML 기술이 결합되면 비용 부담 없이 데이터에 대한 제어, 보안 및 소유권을 효율적으로 유지할 수 있다. 모자이크ML 모델 학습 자동 최적화 기술은 표준화된 접근방식과 비교해 2배에서 7배 빠른 속도를 지원한다. 또 수십억 개 매개변수를 가진 모델을 단 몇 시간 만에 학습시킬 수 있다. 뿐만 아니라 양사 기술이 결합된 플랫폼은 LLM을 훈련시키고 사용하는데 드는 비용을 대폭 줄여준다.
이번 인수로 모자이크ML의 업계 선도적인 연구팀을 포함한 전 직원이 데이터브릭스에 합류하게 된다. 현재 가장 인기있는 고급 오픈소스 모델인 MPT-30B와 모자이크ML 제품을 구동하는 학습 알고리즘을 개발한 모자이크ML의 머신러닝(ML) 및 신경망 연구팀은 데이터브릭스에 합류 후에도 모델 학습 효율 개선을 위한 선구적인 AI 연구를 이어나갈 계획이다.
알리 고드시(Ali Ghodsi) 데이터브릭스 최고경영자(CEO)는 “기업들이 AI가 가져다주는 혜택을 온전히 누리기 위해서는 데이터에 대한 제어권을 확보해야 한다”며 “데이터브릭스와 모자이크ML은 AI를 보편화하고, 레이크하우스를 생성형 AI 및 LLM 구축에 가장 이상적인 플랫폼으로 발전시키는데 상당한 시너지를 낼 수 있을 것”이라고 말했다.