삼쩜삼, 사내 AI 에이전트 8개 ‘카터’로 통합…운영비 45% 절감

[이데일리 이소현 기자] 세무 플랫폼 삼쩜삼 운영사 자비스앤빌런즈가 사내에 흩어져 있던 인공지능(AI) 에이전트를 하나의 플랫폼으로 통합하고, AI 호출 비용을 최대 45% 줄였다.

삼쩜삼, 사내 AI 에이전트 통합 플랫폼 ‘카터’ 구축(사진=자비스앤빌런즈)

자비스앤빌런즈는 사내 AI 에이전트 통합 플랫폼 ‘카터(Carter)’를 구축했다고 27일 밝혔다.

카터는 AI 에이전트 개발·운영에 필요한 비용을 관리·모니터링하고 보안과 개인정보 보호 기능을 공통으로 제공하는 플랫폼이다.

현재 ‘삼쩜삼Q’와 삼쩜삼 앱 AI 에이전트 등 서비스와 사내 업무에 활용되는 AI 에이전트 8개를 카터에서 통합 운영하고 있다.

AI 호출 절반은 경량 모델로

자비스앤빌런즈는 카터에 ‘모델 티어링(Model Tiering)’을 적용해 AI 운영비를 줄였다.

답변을 조합하고 생성하는 작업에는 고성능 모델을 쓰고, 이용자 의도 분류나 안전성 판단 등 상대적으로 단순한 작업은 경량 모델에 맡기는 방식이다.

이를 통해 전체 AI 호출의 약 50%를 경량 모델로 처리하고 거대언어모델(LLM) 호출 비용을 약 45% 절감했다고 회사 측은 설명했다.

반복되는 프롬프트를 저장해 다시 활용하는 ‘프롬프트 캐싱(Prompt Caching)’도 플랫폼 표준으로 적용했다.

캐시가 재사용되는 구간에서는 호출 비용을 약 43% 줄였다.

개인정보 보호·공격 차단도 중앙 관리

카터는 각 AI 에이전트가 보안 기능을 따로 구축하지 않아도 공통 라이브러리와 인프라를 사용할 수 있도록 했다.

카터를 거치는 모든 AI 호출은 중앙에서 추적·관측되며 개인정보 자동 비식별화와 프롬프트 인젝션 공격 차단 기능도 공통으로 제공한다.

또 불필요한 검색 과정을 줄이고 클라우드 간 자동 장애 전환(Failover) 시스템을 적용해 서비스 중단 가능성을 낮췄다.

자비스앤빌런즈는 카터를 사내 지식과 AI 답변 품질까지 관리하는 플랫폼으로 확대할 계획이다. 현재 사내에 흩어진 지식 자산을 하나의 창구에서 검색·질의할 수 있는 ‘지식 오케스트레이터(Knowledge Orchestrator)’와 AI 에이전트의 답변 품질을 정량적으로 측정하는 평가 체계를 구축하고 있다.

강병규 자비스앤빌런즈 최고기술책임자(CTO)는 “사내 AI 에이전트와 지식 자산을 카터로 통합해 AI 운영 효율을 높이고 안전한 활용 기반을 마련했다”며 “비용 절감에 그치지 않고 답변 품질까지 측정·관리해 구성원 누구나 안전하게 AI 에이전트를 만들고 운영할 수 있는 환경으로 확대하겠다”고 말했다.