|
참으로 이질적인 단어의 조합이다. 국가 수장이 새로 탄생하는 자리에서 명백한 국가의 언어가 있음에도 다른 나라 언어로 말하다니. 제1대 이승만 대통령부터 현직인 이재명 대통령까지 모두 한국말로 취임식을 했다.
지난달 ‘청년 창업 상상콘서트’에 참여했던 이 대통령은 자신이 한 적 없는 영어 취임식 영상에 놀라움을 감추지 못했다. 목소리 톤도 자연스럽고 이 대통령의 감정선까지 생생했다. 이 대통령을 놀라게 했던 이 영상은 인공지능(AI) 스타트업 허드슨에이아이의 더빙 AI ‘팀버’가 더빙한 영상이다.
|
팀버는 먼저 사람의 목소리를 주변 소음과 분리한다. 배경음악, 다른 사람의 목소리, 생활소음까지 완벽하게 분리해낸다. 이후 말하는 사람의 전반적인 목소리를 인식하고 음성을 텍스트로 변환한다. 변환된 텍스트를 다른 언어로 변경한 후 이를 음성 오디오로 생성한다. 특히 팀버는 목소리를 인식하는 과정에서 톤이나 속도, 억양 등을 학습한다. 덕분에 격정적 감정을 표출하는 장면도 무리 없이 더빙한다.
음성 오디오를 생성하는 과정은 배우가 연기하는 것과 다르지 않다. ‘다정하게’, ‘분노하는 목소리로’ 등 어떤 분위기로 목소리를 만들어야 하는지 지문까지 달아준다. 단순 문장을 음성으로 변환하는 수준을 넘어섰다.
등장인물 간의 애칭이나 업계의 은어(특정 집단만 아는 암호 같은 말)도 알아낸다. 반복적으로 언급되는 단어가 무엇인지 인식하고 해당 단어가 대화 속에서 어떤 의미가 있는지 분석한다.
21개국 언어 커버…실시간 중계 더빙도
팀버는 영어 뿐만이 아니라 베트남어, 프랑스어, 스페인어 등 21개국 언어를 커버한다. 사용자는 영상을 팀버에 입력하기만 하면 원하는 언어로 더빙된 영상을 얻을 수 있다. 또한 한국어로 중계되는 한국 프로야구 생중계를 실시간으로 다른 언어로 더빙된 버전으로 볼 수도 있다. 더빙 시 한국 야구 중계 스타일을 미국 프로야구 중계 스타일로 바꿔주는 것도 관전포인트다.
신현진 허드슨에이아이 대표는 아역 더빙 등 사람 성우로 하기 어려운 일을 팀버가 해낼 수 있다고 자신한다. 신 대표는 “어린이 성우는 통제가 어렵기 때문에 녹음 난이도가 높고 고용 비용이 비싸다. 그렇다고 성인이 어린이 목소리를 내기는 어렵다”며 “팀버가 이런 문제를 해결할 수 있을 것”이라고 했다. 이어 “음성의 맛을 살리는 데 집중하고 있다. 번역은 문맥을 최대한 살려서 하고 구어체로 말하며 사투리 등 말투도 살리고 있다”고 말했다.
