"돈먹는 하마 초거대AI…20% 비용 줄인 인프라 서비스 출격"

by김현아 기자
2023.04.18 16:13:17

[이데일리 김현아 기자]

윤동식 KT클라우드 대표가 18일 그랜드 인터컨티넨탈 서울 파르나스에서 ‘KT 클라우드 서밋 2023’에서 개회사를 하고 있다. 사진=KT클라우드

윤동식 KT클라우드 대표. 사진=김현아 기자

KT의 AI풀스택 서비스

“초거대AI를 회사 업무에 활용하고 싶어도 돈이 너무 많이 들죠. 저희가 AI 반도체(NPU) 개발사인 리벨리온과 함께 저비용 AI 인프라 서비스를 시작합니다. 5분의 1 이상 비용이 줄어듭니다.”

윤동식 KT클라우드 대표는 18일 그랜드 인터컨티넨탈 서울 파르나스에서 열린 ‘KT 클라우드 서밋 2023’에서 “챗GPT가 아무리 뛰어나도 우리 회사 데이터를 누구나 다 볼 수 있게 오픈할 수 있는 게 아니라서 기업들은 대화형 인공지능, 생성형AI 시대를 어떻게 준비할 까 많이 고민할 것”이라며, KT가 준비한 AI 풀스택(Full-Stack)서비스를 소개했다.

AI 풀스택이란 AI 반도체 등 인프라부터 고객에게 제공하는 AI 응용 서비스까지 전 과정을 아우르는 제품과 서비스를 의미한다. KT와 KT클라우드, 투자회사인 AI반도체 회사 리벨리온, AI 인프라 솔루션 기업 모레가 협업해 제공한다.

올해 관심을 두는 것은 △5월 말 출시될 리벨리온의 반도체 아톰(ATOMTM)이 적용된 KT클라우드 서비스와 △정부가 데이터센터를 국산 AI 반도체로 구축하는 ‘NPU 팜’ 사업 △KT의 초거대 AI 서비스인 ‘믿음’의 육아상담 서비스(오은영 AI 육아상담 X 초거대 AI 믿음) 등이다.

윤 대표는 “리벨리온에서 보드를 만들고 있어 5월 말쯤이면 리벨리온 칩이 KT클라우드에서 돌아가는 것을 보실 수 있을 것”이라면서 “(엄청난 컴퓨팅 파워가 드는) 초거대 AI는 전력비용이 많이 드는데 리벨리온 칩은 가성비가 뛰어나다”고 자신했다. 그러면서 “정부가 저전력·저비용 AI 인프라로 한국의 클라우드 산업을 키우기로 했는데 도움이 많이 될 것 같다”면서 “NPU팜 구축 사업에 뛰어들었고, 광주 센터 등에도 저희 인프라가 들어가 서비스될 것으로 본다”고 언급했다.

KT의 종량제 GPU 서비스를 이용하는 스캐터랩 ‘이루다’

5월 말 출시될 것은 리벨리온이 만든 AI 반도체(신경망처리장치·NPU) ‘아톰’ 기반 서비스이지만, KT클라우드는 이미 AMD 그래픽처리장치(GPU)를 이용해 세계 최초 종량제 GPU 서비스인 하이퍼스케일 AI컴퓨팅(HAC)을 출시한 바 있다. ‘이루다’를 만든 스캐터랩이 130억 개 파라미터(매개변수)로 서비스를 만들면서, 96장(HAC GPU)을 이용 중인데, 비용을 상당히 줄였다고 한다.



윤 대표는 “이루다는 벤처여서 GPU 서버에 수 많은 돈을 쏟아 부을 수 없어 HAC를 썼는데 상당히 비용을 줄일 수 있었다”면서 “전기료도 이슈인데, KT가 내부 인프라를 준비할 때는 1년 내내 신규 도입한 전체 랙에서 사용되는 전력이 수백 킬로와트 정도였지만, AI서비스가 들어오면서 1년 만에 몇 메가와트로 커졌다. KT클라우드는 저전력·저비용이 필요한 고객들에게 효율적인 AI 인프라 서비스를 제공할 수 있다”고 자신했다.

AI 특화 반도체인 NPU를 개발한 뒤에는 지능형 메모리 반도체(PIM·Processing in Memory)까지 개발하겠다고 했다. 그는 “저희의 시작은 NPU이지만 PIM도 계획하고 있다”며 “더 빠르게 연산하고 학습할 수 있는 PIM을 준비하고 있으며, 계획을 향후 발표드리겠다”고 말했다. PIM은 메모리 반도체에 연산 기능을 더한 지능형 메모리 반도체다.

배순민 KT AI 2XLX 연구소장이 설명한 초거대 AI ‘믿음’을 육아상담에 적용한 사례

배순민 KT AI 2XLX 연구소장이 설명한 초거대 AI ‘믿음’을 AI콜센터 상담원에 적용한 사례

배순민 KT AI 2XLX 연구소장이 설명한 초거대 AI ‘믿음’을 메타버스에 적용한 사례

KT클라우드서밋에는 신수정 KT 부사장(엔터프라이즈부문), 배순민 KT AI 2XLX 연구소장도 함께 했다.

신수정 부사장은 온라인 축사를 통해 “챗GPT로 촉발된 초거대AI가 화두인데 KT는 국내에서 초거대AI 모델을 가진 극소수 회사 중 하나”라면서 “공공 등에서 새로운 비즈니스를 창출할 것이다. 이를 통해 기업간거래(B2B)에서 작년 4.7조 매출에 이어 올해는 5조 이상의 매출을 거두겠다”고 자신했다.

배순민 AI 2XLX 연구소장은 “챗GPT로 초거대 언어모델(LLM)이 대중화되고 있지만 아직은 언어 능력과 암기력이 뛰어난 수준이다. 편견 등은 필터링이 쉽지 않다”면서 “KT는 자체 초거대 AI ‘믿음’을 개발해 AICC(AI콜센터)에 적용했더니 상담사들의 업무가 훨씬 편해졌고, 최고의 상담 전문가이신 오은영 박사님의 목소리를 합성해 개인별로 맞춤형 육아상담을 해주는 서비스도 준비 중이다. 얼마 전 오픈한 KT의 메타버스 플랫폼인 지니버스에도 감성과 공감능력, 개성을 가진 초거대 AI를 접목할 예정”이라고 소개했다.