“AI로 목소리 복사해 더빙”…일레븐랩스, 한국 진출로 아시아 공략

[이데일리 김응태 기자] “인공지능(AI) 오디오의 미래는 언어의 장벽을 완전히 허물게 될 것입니다. 모든 음성과 콘텐츠가 실시간 번역과 완벽한 더빙을 통해 전 세계 어디서나 접근 가능하게 만들겠습니다.”

마티 스타니셰프스키 일레븐랩스 공동창업자 겸 최고경영자(CEO)가 21일 서울 서초구 JW 메리어트 서울 호텔에서 열린 일레븐랩스 한국 진출 기자간담회에서 인사말을 하고 있다. (사진=연합뉴스)

마티 스타니셰프스키(Mati Staniszewski) 공동창업자 겸 최고경영자(CEO)는 21일 서울 서초구 JW메리어트호텔에서 열린 ‘한국 시장 공식 진출 기자간담회’에서 “일레븐랩스의 보안성 높은 클라우드 기반 보이스 인텔리전스로 인공지능(AI) 오디오의 미래를 구현하겠다”며 이같이 밝혔다.

일레븐랩스는 영국에 본사를 둔 AI 오디오 연구 및 개발 전문기업으로 지난 2022년 설립됐다. 회사 설립 초기 명확하고 감정 표현이 풍부한 다국어 지원 AI 음성기술 사업을 전개했다.

최근에는 음성기술 사업을 비롯해 음향 효과, 음악 등 전반에 걸쳐 다양한 제품을 선보이고 있다. 현재 포춘(Fortune) 500대 기업 중 75%가 활성 고객사이다. 국내에서는 네이버, 크래프톤, SBS 등이 일레븐랩스의 서비스를 이용 중이다.

일레븐랩스가 선보인 AI 음성연구 기반 모델로는 TTS(Text to Speech), STT(Speech to Text), AI 더빙, 보이스 클로닝, 사운드 효과, 음성 분리, 일레븐 뮤직, 에이전트 오케스트레이션 등이 있다.

일레븐랩스는 이 같은 AI 음성연구 모델을 기반으로 한 플랫폼 사업에 주력하고 있다. AI 에이전트 플랫폼이 대표적인 사례다. 이 플랫폼은 음성 기반 AI 에이전트를 기획, 개발, 배포, 운영까지 한번에 가능하도록 해주는 서비스다.

AI 에이전트 플랫폼은 0.5초 미만의 지연 속도로 인간 수준의 자연스러움 발화를 구현했으며 7000개 이상의 보이스와 32개 언어를 지원한다. 고객관계관리(CRM), 고객지원, 결제, 전화 시스템 등 다양한 업무 툴을 연결해 문제를 해결한다. 실시간 분석, 평가, 추적 모니터링 기능과 주요 보안 및 규제 기준을 준수해 엔터프라이즈급 보안 및 안정성도 갖췄다.

현재 일레븐랩스의 AI 에이전트 플랫폼을 도입한 대형 디지털은행을 통해 약 3000만명 이상의 고객들이 이용 중인 것으로 집계됐다. AI 에이전트 플랫폼을 도입한 결과 에이전트 처리 시간이 85% 단축되고 신용카드 관련 문의의 50%를 AI가 처리했다고 회사 측은 설명했다.

마티 CEO는 “다른 회사의 엔드투엔드(Speech-to-Speech) 방식은 감사 및 관측이 어렵고 엔터프라이즈의 요구사항을 충족하는 데 한계가 있다”면서 “일레븐랩스의 경우 모델 고도화로 스트리밍 자동음성인식(ASR) 및 TTS의 지연시간이 크게 감소하고 대형언어모델(LLM) 추론 속도도 향상된다”고 말했다.

크리에이터와 미디어, 엔터테인먼트 기업을 위한 ‘크리에이티브 플랫폼’도 주요 서비스 중 하나다. 이 플랫폼은 음성, 음악 등의 오디오 요소를 비롯해 이미지, 비디오 등을 통합 제공한다. 크리에이터가 내래이션이나 AI 더빙을 통해 작업물을 편집하고 수정할 수 있다.

일레븐랩스는 크리에이티브 플랫폼을 K콘텐츠 문화 역량과 결합해 아시아 진출의 핵심 교두보로 활용하겠다는 구상이다.

홍상원 일레븐랩스 한국지사장은 “K콘텐츠가 세계를 사로잡았지만 언어 장벽은 여전하다”며 “일레븐랩스는 70개 이상 언어를 지원하면서도 원작의 감정과 뉘앙스를 거의 완벽히 재현하고 화자 자동 분리, 타임라인 편집, ‘응용 프로그램인터페이스’(API)를 통한 대량 처리로 더빙 시간을 극적으로 단축한다”고 말했다.

마티 CEO는 “일레븐랩스는 오디오를 넘어, 이미지와 영상까지 아우르는 완전한 옴니 크리에이티브 경험을 제공할 것”이라며 “맥락을 이해하고 감정에 반응하는 에이전트가 모든 접점에서 일관되고 매끄러운 상호작용을 가능하게 할 것”이라고 강조했다.