LG U+ “가격 문제로 LLM과 NLP 하이브리드 사용”[일문일답]

[이데일리 김현아 기자]LG유플러스가 AI 에이전트 플랫폼 4종을 공개했다. ▲U+상담 에이전트 ▲ 장애상담 에이 전트 ▲유독 AI 상품추천 에이전트 ▲U+비즈마켓 솔루션 안내 에이전트 등이다.

이 서비스들은 챗GPT 기반으로 서비스되며, 파운데이션 모델 사용료 부담을 줄이기 위해 거대언어모델(LLM)뿐 아니라 기존 AI 기술인 자연어처리(NLP)기술도 쓴다. 하이브리드인 셈이다.

또한, 당장은 챗GPT를 쓰지만 6월 중 LG AI연구원 LLM인 ‘엑사원’ 기반 소형언어모델(sLLM) ‘익시젠’을 적용할 예정이다.

다음은 8일 온라인 간담회에서 이뤄진 성준현 AI·데이터프로덕트 담당(상무)와 김민규 팀장과의 일문일답이다.

8일 오전 진행된 AI 테크브리핑에서 성준현 LG유플러스 AI·데이터프로덕트 담당(상무, 왼쪽)와 김민규 AI Agent상품팀장이 질문에 답하고 있는 모습.

-LG유플러스 AI 에이전트는 LLM과 기존 NLP(자연어이해)를 하이브리드로 사용한다는데 좀 더 쉽게 설명해 달라.

▲사실 AI에이전트 서비스에서 가장 큰 걸림돌은 결국 비용이다. 자칫 감당하기 어려운 수준까지 올라갈 수 있다. 그래서 하이브리드 형태가 효율적으로 생각한다. LLM은 기존 AI가 이해하기 어려운 질문에 답변하고, 나머지는 NLP가 하는 방식이다.

‘RAG(검색 증강 생성)’은 많이 들어보셨을 것이다. (RAG는 LLM의 출력을 최적화하여 응답을 생성하기 전에 학습 데이터 소스 외부의 신뢰할 수 있는 지식 베이스를 참조하도록 한다.)

저희는 NLP가 처음 답변할 수 있는지 질문을 판단한다. 이 때 자기가 답변할 수 있다면 굳이 비용이 비싼 LLM에는 안보내고 최적의 인터페이스로 답변할 수 있다. 그런데 NLP가 판단시 안된다고 보면 LLM에 보내고 최종적으로 답변을 도출하는 형태다. 작년에 유독 등을 하면서 경험을 많이 쌓았다고 생각한다. 강점으로 가져갈 수 있을 것으로 본다.

지금은 챗GPT기반..6월 익시젠 적용

-지금 공개한 건 챗GPT 기반 아닌가? LG 엑사원 기반 sLLM ‘익시젠’은 언제 적용되나요?

▲맞다. 상반기 내에 엑사원 기반 익시젠을 적용한 AI에이전트가 나올 것이다. 내부적으로는 엑사원을 사용하고 있다. 본격 적용은 하반기다.

(상반기 중 익시젠을 할텐데 먼저 기자회견 연 이유는) 아마 익시젠을 그랜드 오픈하면서 대대적으로 설명할 테지만 오늘은 AI에이전트 출시와 전략 방향을 소개하는 자리로 봐 달라. 초거대AI 관점에서 다시 정리해 말하겠다.

LG유플러스 ‘익시젠’ 아키텍처

LG유플러스 챗 에이전트 플랫폼 개요도

이동통신 요금제 추천은 신중

-챗 에이전트(채팅봇)를 로밍 요금제 추천 등외에 이동통신 요금제 추천으로 확대할 계획이 있나?

▲이미 U+비즈마켓 상품 안내 및 추천 등에 쓰고 있다. 다만, 통신 상품 요금제 추천은 좀 민감하다. 다양한 개인 맞춤형 추천이나 준비 중에 있지만, 신중하게 볼 예정이다.

-고령자들이 쓰기 어렵지 않나?

▲저희가 서비스 오픈이후 이용률을 보니 10% 정도의 고령층이 있었다. 챗봇이라고 해서 문자만 하는게 아니라 음성 인터페이스를 활용해 쉽게 할 수 있게 했다. 필요시 챗봇 안에서 고객센터와 연동되게 했다.

-LG유플러스 AI 에이전트의 차별점은 뭔가?

▲저희 챗봇은 LG유플러스 상품에 가장 최적화돼 있다. 저희 데이터를 입혀서 정밀도를 높였다. ‘RAG(검색 증강 생성)’나 세이프티 레이어를 두고 데이터 안정성에 위배되지 않도록 했다. 고객 개인정보가 내부적으로 처리돼 보안 측면에서도 기존 GPT 대비 안전한 서비스라고 생각한다. 최근에 워낙 보안 사고가 많은데 잘못 답변하면 큰 손실로 이어져 다시한번 조심조심하고 있다.

환각효과는 RAG로..데이터 학습 때도 주의

-환각, 할루시네이션은 어떻게 대처했나?

▲‘RAG(검색 증강 생성)’, ‘Safet(보안)’레이어를 통해 해결한다. (RAG는 LLM의 출력을 최적화하여 응답을 생성하기 전에 학습 데이터 소스 외부의 신뢰할 수 있는 지식 베이스를 참조한다.)다양한 필터링이 있어 최대한 없애도록 노력중이다.

저희가 내부 테스트를 할 때는 생각보다 환각 효과가 문제였는데, 그 때 이런 것들에 대처하는 경험을 많이 쌓았다.

-학습 데이터는 무엇을 썼나?

▲상담 내용 등 오랜 경험들을 다 개인정보를 제외한 상태에서 활용했다. LG AI연구원의 LLM ‘엑사원’은 데이터 관련 상당히 민감하다. 그래서 초거대 다른 엔진들이 법적이나 저작권 이슈가 많은데, 엑사원은 클리어하게 가고 있다. 상담 네이터나 고객센터 콜 데이터 등을 고객 정보 전혀 없이 학습용으로만 쓴다. 외부 반출도 안 한다. 지금은 챗GPT이지만 향후 엑사원 기반 sLLM인 ‘익시젠’을 쓰면 개인정보 보호가 더 좋아질 것이다. 더 자세한 건 다음에 ‘익시젠’ 발표 때 이야기하겠다.

-챗 에이전트 도입 후 셀프처리율이 많이 올랐다는데 수치는?

▲ 숫자 자체는 오픈이 어렵다. 다만, 사업쪽에서 고객 센터나 당신의 유플러스 앱 운영자들에게 들으니 효과가 좋았다고 한다. 시나리오 최적화 덕분이다.

-B2B로도 사업을 확장한다고 했는데, BM이 무엇인가?

▲저희가 기업부문과 AICC(AI컨택센터)사업을 진행 중이다. 콜봇이나 어드바이저 같은 기능도 있지만, 채팅 기능도 다양하다. 에이전트를사내에 적용해서 레퍼런스를 확보하는 게 중요하다. 이를 가지고 기업부문과 챗 에이전트 니즈가 있는 곳에 제안해 오퍼링할 예정이다.