AI멀티엔진 썼더니 비용↓ 속도↑…SKT 텔코LLM, 6월 출격

[이데일리 김현아 기자]SK텔레콤이 통신 서비스를 잘 이해하는 똑똑한 ‘텔코LLM’을 이르면 오는 6월 선보인다.

‘텔코LLM’은 GPT-4, 클로드3, A.X 같은 여러 개의 파운데이션 모델(LLM)에 통신사의 서비스나 상품, 멤버십 혜택, 고객 상담 패턴 등 방대한 양의 데이터를 학습시켜 미세조정(파인튜닝)해 만든다. 일단 한국향 서비스를 내놓은 뒤, 글로벌 텔코 AI 얼라이언스(GTAA)에 참가한 4개 통신사와 협력해 글로벌향으로 확대한다는 계획이다. SKT는 여러 LLM을 썼더니 품질과 속도가 좋아지고 비용은 줄일 수 있었다고 소개했다.

[이데일리 김일환 기자]

텔코LLM 구축 과정

에릭 데이비스는 SKT AI Tech Collaboration 담당(부사장)

바뀐 멤버십 제도 이해 못하는 범용엔진, 똑똑한 텔코LLM

오픈AI의 GPT-4나 앤트로픽의 클로드3 같은 범용 LLM은 통신사의 최근 바뀐 멤버십 제도를 알지 못한다. 5G 프라임요금제 같은 통신 전문용어도 답하지 못한다.

고객이 상담봇으로 ‘영화 혜택이 올해 달라진 점이 있나요?’라고 물으면 적절한 답을 할 수 없다. LLM은 학습시점까지의 데이터로만 답하기 때문이다.

하지만 ‘텔코LLM’은 다르다. 통신 요금제 종류, 공시지원금·선택약정 등 통신 전문 용어, AI 윤리 등을 학습해 적절한 답을 할 수 있다.

‘학습데이터 구축→범용 LLM에 학습시켜 파인튜닝→휴먼 피드백 기반 강화학습(RLHF·사람이 개입해 점수를 매긴 뒤 강화학습시키는 것)→텔코 LLM 모델평가’를 반복하면서 정확성을 높인 덕분이다.

에릭 데이비스 SKT AI Tech Collaboration 담당(부사장)은 “파인튜닝을 통해 텔코LLM의 성능이 GPT-4 기준으로 35% 향상됐다”고 소개했다. 오픈AI도 지난 5일 기업의 특정 도메인에 맞춰 AI 모델을 학습시키고 최적화할 수 있는 커스텀 모델을 공개하면서 “SKT와 협력하여 GPT-4를 파인튜닝하고 한국어로 된 통신 관련 대화의 성능을 향상시켰다”고 밝혔다.

SKT는 기업들이 생성형 AI를 쉽게 활용할 수 있도록 ‘인텔리전스 플랫폼’도 공개했다. 이는 멀티 LLM부터 멀티모달, 오케스트레이션, 검색 증강 생성(RAG·LLM이 응답하기 전에 외부의 신뢰할 수 있는 지식 데이터를 참조하는 방식)까지 다양한 기능을 포함한 일종의 ‘기업용 AI 개발 및 운용 패키지’다.

멀티 LLM의 추론 비용 최적화 방법

멀티엔진이 비용도 줄인다는데…어떻게?

SKT는 GPT-4(오픈AI), 클로드3(앤트로픽), A.X(SKT)뿐 아니라 제미나이(구글)의 범용 LLM도 도입을 검토하고 있다. 여러개의 엔진을 쓴다는 것인데, 이를테면 한 줄 요약은 GPT-4, 상담 요약은 A.X, 고객 감정은 클로드3를 쓰는 식이다. 1개 엔진(범용 LLM)으로는 다양한 서비스와 문제를 해결하기 어렵다는 생각인데, SKT는 속도와 품질 향상은 물론 연동비도 줄어든다고 했다.

여러 엔진을 쓰면 LLM 서버까지 갔다오는 시간이 줄어 속도는 개선될 수 있지만, 연동비(토큰 입출력 비용)는 올라가지 않을까 하는 의문이 있다.

이에 대해 정민영 SKT AI플랫폼 담당(부사장)은 “멀티LLM을 쓰니 적게 입력해도 좋은 답변을 얻을 수 있어 속도가 향상된다”면서 “모든 LLM을 돌려 실시간 결정하는 게 아니라 개발팀에서 이 엔진이 우수할 것이라고 판단하면 평가를 거쳐 태스크(작업)별로 모델을 사용해 비용을 관리한다”고 답했다. 작업마다 엔진 여러 개를 동시에 돌리는게 아니라 속도와 품질, 비용간 균형을 맞춘다는 의미다.

인텔리전스 플랫폼 개념도

정민영 SKT AI플랫폼 담당(부사장) 겸 글로벌 AI플랫폼 코퍼레이션 코리아 CTO

SKT AI 글로벌 진출 투트랙

한편 SKT의 인공지능(AI) 글로벌 진출 전략은 두가지 방향에서 진행되고 있다.

우선 ‘텔코LLM’의 글로벌화다. 일단 한국 시장에 맞는 서비스를 시작한 뒤, 글로벌 텔코 AI 얼라이언스(GTAA)로 확산한다. GTAA는 △SK텔레콤 △도이치텔레콤 △이앤(e&)△싱텔 △소프트뱅크 5개사가 참여했다. 지난 2월 글로벌 텔코 LLM 개발을 위한 합작사 설립을 발표했다. 각 통신사의 데이터를 모아 파인튜닝하게 된다. 전세계 통신사들은 유사한 기술 기준와 용어를 쓰기에 글로벌로 확장이 가능하다고 보고 있다. 에릭 데이비스 부사장이 관여하고 있다.

두번 째는 개인형 AI 비서(PAA) 사업이다. SKT 자회사인 ‘글로벌 AI 플랫폼’과 ‘글로벌 AI 플랫폼 코퍼레이션 코리아’를 통해서다. 정석근 최고AI글로벌책임자(CAGO)가 한국법인 대표이사(CEO)를 맡고 있다. 정민영 부사장은 “글로벌 시장에 개인형 AI비서를 론칭하기 위해 법인을 만들었고, 한국법인에서는 주로 개발을 한다. 저도 CTO로 활동 중이다”라고 전했다.