환각 70%, 비용 30% 줄인 KT 초거대AI ‘믿음’ 출격

[이데일리 김현아 기자]KT(대표이사 김영섭)가 31일 온라인 기자설명회를 열고, 거대언어모델(LLM)AI ‘믿음(Mi:dm)’의 출시를 발표했다.

‘믿음’의 매개변수는 수십억 개에서 수 천억 개까지 4개 모델이 있다. 주요 내용은 9가지는 다음과 같다.



①출시 모델: KT는 총 4종의 믿음 모델을 출시하며, 기업들은 경량 모델부터 초대형 모델까지 각자 규모와 사용 목적에 맞게 완전 맞춤형(Full Fine-Tuning)으로 사용할 수 있다. 이를 위해 초거대 AI 믿음 공식 웹사이트를 31일 오픈했다. 신청 기업들은 전문 컨설팅을 통해 사용 협의를 하게 된다.

②믿음의 기업전용 AI 클라우드팜: KT는 AI 풀스택을 통해 KT클라우드와 함께 믿음의 기업전용 AI 클라우드팜(Mi:dm CloudFarm)을 패키지로 제공한다. 이를 통해 별도의 개발 및 학습 인프라가 없더라도 누구나 합리적인 비용으로 초거대 AI를 활용한 서비스를 개발할 수 있다.

특히 기존 대비 약 27% 가까운 GPU 학습 비용 절감이 가능한 KT Cloud의 HAC(Hyperscale AI Computing) 서비스, 추론 비용을 기존 대비 50% 절감한 리벨리온의 NPU 인프라 등 ‘AI 풀스택’을 효율적인 AI 개발 환경을 위한 맞춤형 통합 패키지로 함께 제공할 예정이다.

이는 네이버의 ‘뉴로클라우드 포 하이퍼클로바X’와 유사하다. 이는 네이버 거대언어모델(LLM)인 ‘하이퍼클로바X’를 결합한 최적화된 완전 관리형 하이브리드 클라우드 서비스다. 강력한 보안과 전용 AI 플랫폼을 함께 제공한다.

③파운데이션 모델: KT는 모든 기업에게 믿음의 경량 파운데이션 모델(Foundation Model)을 개방하며, 이를 위해 ‘KT 믿음 스튜디오(KT Mi:dm Studio)’라는 전용 포털을 오픈했다.

이를 통해 고객사에 편리한 개발 환경을 제공한다. 고객사가 파운데이션 모델을 직접 선택, 학습, 서빙할 수 있는 맞춤형 환경이 제공된다.

이는 네이버가 기업이 쉽게 AI 서비스를 개발할 수 있는 도구인 ‘클로바 스튜디오’를 오픈한 것과 유사하다.

④미세조정(Fine-Tuning): 기업은 기존에 공개된 파운데이션 모델을 튜닝해 활용할 수 있으며, 이로써 초거대 AI를 사용하고자 하는 기업 중에서 파라미터 모델을 직접 만들기 어려운 경우에도 이를 활용할 수 있다.

⑤안전성 및 신뢰성: KT는 믿음의 모델에서 ‘AI의 환각 답변’ 문제를 해결하기 위해 검색과 추론, 답변의 모든 단계에서 신뢰성을 높일 세 가지 기술을 개발해 적용했다. 다큐먼트 AI(Document AI), 서치 AI, 팩트 가드 AI 등이다.

도큐먼트AI는 도식화된 복잡한 문서도 모델이 정확히 이해할 수 있도록 변환하는 기술이다. 서치 AI(Search AI)는 목표 도메인과 문서에 최적화된 최신 정보를 찾아내는 딥러닝 기술이다. 팩트가드 AI(FactGuard AI)는 원문에 근거한 응답만 생성하도록 강화학습을 적용했다.

KT는 이로 인해 생성형 AI의 가장 큰 문제점인 환각 현상을 일반 생성형 AI 서비스 대비 최대 70% 가까이 줄일 수 있다고 설명했다.

⑥성능과 평가: KT의 믿음 중에서 외부에 전면 개방되는 경량 모델(70억 개 파라미터)은 한국어 LLM 평가 리더보드 ‘Open Ko LLM’에서 최상위를 기록하며, 공식적으로 인정받았다.

⑦기업 고객과 협력: KT는 금융권, 지자체, 기업솔루션 등 100개 이상의 기업과 기관과 협력을 진행 중이며, 믿음을 사용한 다양한 서비스를 제공하고 있다.

이날 설명회에선 KT가 기업은행에 믿음을 적용해 만든 신뢰도 높은 전문 상품지식 제공 서비스를 선보이기도 했다.

지난 22일엔 태국 자스민 그룹과 함께 국산 초거대 AI 믿음을 활용한 태국어 대형언어모델 구축 및 동남아 공동 사업화 협력 추진을 밝히며 글로벌 시장 확장 가능성을 증명했다.

⑧미래 계획: KT는 기업전용 LLM 사업화와 새로운 AI 혁신 사업을 발굴하고, 초거대 AI 사업 영역을 확장하며 글로벌 시장을 공략하려 한다. 또, 스타트업과의 협력을 통해 AI 기반 비즈니스 혁신을 이끌어내기 위한 계획을 갖고 있다.

또한 기존 서비스에 초거대 AI를 적용하여 제공할 예정이며, 내부 업무 프로세스와 고객서비스도 개선할 예정이다.실제로 믿음을 시범 적용한 KT 콜센터에선 봇 인식률 5% 개선, 후처리 속도 20% 및 지식 구축 속도 30% 향상 등 다양한 부분에서 성능 개선 효과를 보였다. 앞으로 금융과 통신영역, 지니TV 마케팅, 시니어와 육아상담 등의 영역에서도 믿음을 적용한 업무 프로세스 개선이 진행될 예정이다.

⑨외부 평가

업스테이지 김성훈 대표는 “KT의 모델을 사용해 보니 KT 인프라를 활용한 비용절감과 최적화 측면에서 B2B 확장에 경쟁력이 있음을 경험했다”며, “KT와 함께 기업 전용 LLM시장을 개척하겠다”고 했다.

콴다를 운영하는 매스프레소의 이용재 대표는 “KT와 함께라면 글로벌 확장에 자신이 있다”며, “매스 지피티(Math-GPT) 구축을 통해 글로벌 교육 생태계를 주도하겠다”고 밝혔다.

KT AI/DX융합사업부문장 송재호 부사장은 “초거대 AI 시장은 세계적 빅테크 기업부터 스타트업까지 참여하며 급격한 디지털 혁신이 진행되고 있다”면서 “KT는 차별화된 초거대 AI 모델을 개방하고 대한민국이 디지털 전환을 주도할 수 있도록 모든 역량을 집중하겠다”고 말했다.

(그래픽=문승용 기자)