“AWS 플랫폼 월 294달러로 여러 AI 모델 쉽게 사용”…LG유플러스 사례

by김현아 기자
2024.08.13 17:56:11

[이데일리 김현아 IT전문기자] “솔직히 왜 유명한 GPT 모델을 사용하지 않았냐는 질문을 많이 받았습니다. 하지만 아마존 베드록(Amazon Bedrock)을 사용해보니 여러 가지 장점이 있었습니다. 각 AI 모델(거대 언어 모델, LLM)은 각각의 기능과 강점, 그리고 속도가 다릅니다. 만약 MS 애저나 오픈AI를 연동했다면, 우리는 여러 모델을 각각 연동하는 번거로운 작업을 해야 했을 겁니다.”

13일 AWS코리아가 주최한 미디어데이에서 LG유플러스 강병래 유큐브 PM은 베드록 활용 사례를 발표하면서 이 같이 말했다. 베드록은 AWS가 제공하는 기업용 인공지능(AI)을 위한 LLM 및 파운데이션모델(FM)구축 도구다. AWS는 실제 개발없이 애플리케이션 형태로 쓸 수 있는 ‘Q 디벨로퍼’와 ‘베드록’, 그리고 FM 훈련 및 추론을 위한 인프라를 제공한다. 유큐브는 LG유플러스의 사내 IT 통합전산시스템이다. 사내망인 만큼 보안이 중요하다.

LG유플러스 강병래 유큐브 PM

강병래 LG유플러스 유큐브 프로젝트 매니저(PM)는 유무선 상품을 통합 운영하는 유큐브에 대해 “작년 11월 1세대 오픈을 했으며, 50개 이상의 마이크로 서비스와 2만개 이상의 응용 프로그램 인터페이스(API)를 갖춘 매우 복잡한 시스템”이라고 설명했다. 이어 그는 “사내망이어서 인터넷이나 AI를 사용할 수 없는 환경에서 500명 이상의 내·외부 개발자들이 협업했다”며, “생성형 AI를 도입하려는 생각에 먼저 제안하고, 내부 보안팀과 협의한 후 사용할 수 있었다”고 덧붙였다.

강 PM은 AWS의 LLM 개발 도구인 아마존 베드록이 보안 문제 없이 사용될 수 있다고 강조했다. 그는 “베드록은 사용자의 입력과 출력을 저장하거나 기록하지 않으며, 학습 방안을 배포하지 않는다”고 설명하며, “보안팀과 협의해 인터넷이 없는 폐쇄망을 구성하고, 업무망에서 검색할 수 있는 환경을 마련한 후 아마존 베드록을 통해 빠르게 개발을 진행할 수 있었다”고 밝혔다.

LG유플러스 ‘유큐브’ 시스템의 아마존 ‘베드록’ 활용 개요

강병래 PM은 아마존 ‘베드록’을 쓰니 코드 리뷰와 API 검색, 개인정보보호 기능까지 가능했다고 했다.

예를 들어, 화면에 보이는 30줄 정도의 코드를 드래그하면, 오른쪽에서 코드의 길이가 너무 길다고 지적하고. 3개의 메서드로 나누라는 등의 리팩토링 제안을 자동으로 생성해준다고 했다.

또한, 2만 개 이상의 API를 처리하는데 있어, IPTV 관련 테이블을 찾거나 특정 메서드를 생성하는 등의 작업을 자동화하여 도움을 주고 있다고 했다. 이를테면, 넷플릭스 API를 찾거나 복잡한 용어들을 해석하는 기능도 포함돼 있으며, 대화형으로 필요한 정보를 쉽게 얻을 수 있도록 지원하고 있다고 했다.



외부 및 해외 개발자들이 작성한 코드에 대해 자동으로 리뷰하고 공유할 수 있는 기능도 도입돼 SW 코드의 오류를 사전에 경고하고, 주석을 추가하여 코드를 검토할 수 있게 한다고 전했다.

또한, 개인정보나 민감정보, 패스워드가 코드에 실수로 포함될 경우 이를 자동으로 찾아내어 경고하는 시스템도 있으며, 아마존 가드레일을 활용해 이러한 정보를 탐지하고 알림을 제공해준다고 했다. 이를 통해 개발자들이 실수로 저장한 민감 정보를 발견하고 조치할 수 있었다고 설명했다.

강 PM은 “처음에는 개발자 전용 툴로 시작했으나, 임직원들이 사용할 수 있는 챗봇 기능도 개발했다”면서 “예를 들어, 법인카드 신청 방법에 대한 질문을 하면, 우리 회사 시스템 정보에 기반해 상세한 절차를 안내하며, 분실 시 재발급 방법에 대해서도 알려주는 기능을 제공하고 있다”고 언급했다.

‘베드록’의 코드 리뷰 기능. 실수로 들어간 개인정보보호 이슈를 잡아낼 수 있다.

LG유플러스의 강병래 유큐브 PM은 “개발 시 가장 어려웠던 부분은 여러 AI 모델과 다양한 프롬프트(지시어)가 제대로 동작하는지 확인하는 것이었는데, 아마존 베드록에서는 4가지 AI 모델에 동일한 프롬프트를 적용했을 때 원하는 결과를 색상으로 시각적으로 제공해주었다”고 전했다. 아마존 베드록은 자사의 LLM 타이탄뿐만 아니라, 미스트랄 AI, 메타 라마, 고히어, 스태빌리티AI 등 다양한 AI 모델을 지원한다.

그는 또한 “실제 6월 한 달 동안의 사용 비용이 294.38달러였으며, 50개의 마이크로 서비스 중 10개 내외를 사용할 경우 300달러 이내로 저렴하게 운영할 수 있었다”고 덧붙였다.

아마존 베드록을 통해 우리 회사 AI 서비스에 맞는 생성형 AI를 개발하더라도, 다른 회사에서 더 나은 모델이 출시되면 이를 추가할 수 있는지에 대한 궁금증이 많다.

강병래 PM은 이에 대해 “저희는 베드록의 모든 기능을 직접 사용하기보다는, 앞단에 저희가 만든 서버를 통해 베드록을 호출하는 구조로 설계되어 있다”며 “따라서 MS 애저와 같은 다른 시스템을 추가로 연동할 수 있는 유연성을 갖추고 있다”고 설명했다. 이어 “LG AI 연구원이 개발한 엑사원 기반의 익시젠(통신 특화 LLM)도 곧 유큐브에 적용할 예정”이라고 덧붙였다.