촬영없이 디지털 휴먼 제작…‘AI 최경주’에 딥브레인AI 참여

by김현아 기자
2023.05.30 09:28:46

[이데일리 김현아 기자]

인공지능(AI) 전문 기업 딥브레인AI(대표 장세영)가 SK텔레콤이 주최하는 SKT 오픈 2023 대회의 ‘AI 최경주 제작 프로젝트’에 참여해 세계적인 프로골퍼 최경주 선수를 AI 휴먼(AI Human)으로 구현했다.

어떤 기술?

‘AI 최경주’ 구현에는 딥브레인AI의 가상인간 기술과 SKT의 음성합성 기술이 활용됐다.

별도 스튜디오 방문 및 촬영이 요구되는 통상의 AI 휴먼 제작 방식과 달리, 최경주 선수의 사진과 인터뷰 영상들만으로 얼굴 데이터를 추출해 딥러닝 학습을 진행했다.

이후 별도 촬영한 대역 모델에 영상합성 기술로 립싱크 학습을 했으며, SKT의 음성합성 TTS(Text to Speech) 엔진을 결합하여 최경주 선수의 목소리를 완성했다.



자연스런 입모양 화제

AI 최경주는 지난 18일부터 나흘간 열린 KPGA 코리안투어 ‘SK텔레콤 오픈 2023’에서 해설위원으로 활약했다. 특히 발화 시 자연스러운 입모양과 제스처를 선보이며 화제를 모았다.

딥브레인AI는 AI 휴먼 제작 시 통상적으로 진행하는 500문장의 학습 외에, 골프 중계 멘트 립싱크를 위해 골프용어를 추가로 학습 진행했다. 그 결과 AI 최경주는 다양한 현장 상황에도 자연스러운 입 모양을 구사했다.

그간 AI 휴먼을 제작하기 위해서는 실제 인물이 AI 휴먼 전용 스튜디오에 방문해 전신 촬영 및 문장의 발화 데이터를 확보하는 절차가 필수적이었다. ‘AI 윤석열’, ‘AI 김주하’ 등 기존 딥브레인AI에서 제작한 AI 휴먼 모두 직접 촬영을 통해 구현된 바 있다. 앞으로는 AI 최경주 사례와 같이 영상과 음성만 있으면 원하는 대상을 AI 휴먼으로 구현할 수 있어, 바쁜 스케줄 속에서도 편리하게 제작할 수 있을 것으로 기대된다.

장세영 딥브레인AI 대표는 “최경주 선수의 사진과 영상을 기반으로 딥러닝 과정을 거쳐 모델과 똑 닮은 AI 휴먼을 구현했다”면서 “이젠 스튜디오 촬영 외 또 다른 선택지를 제공해 모델의 시간과 비용을 절약할 수 있어 보다 합리적으로 AI 휴먼 제작이 가능하다”고 전했다.

딥브레인AI는

글로벌 시장조사기관 CB 인사이트(CB Insights)가 선정한 ‘글로벌 250대 제너레이티브 AI(Generative AI, 생성형 인공지능) 스타트업’ 중 엔터프라이즈 AI 아바타 분야 유망 기업 명단에 이름을 올린 바 있다.

음성 및 영상 합성·자연어 처리·음성 인식 등 AI 기술 기반으로 2D AI 휴먼, 2D 대화형 가상인간, 3D 초현실 아바타 등 실시간 대화가 가능한 다양한 버추얼 휴먼을 제공하고 있다.