[AI] 드라마 '나빌레라' 발레 장면 뒤엔 AI

by김국배 기자
2021.05.11 08:54:08

tvN 드라마 ‘나빌레라’ 주요 장면

[이데일리 김국배 기자] CJ올리브네트웍스가 지난달 종영한 tvN 드라마 ‘나빌레라’의 고난도 발레 장면에 인공지능(AI) 기반 얼굴 합성 기술을 적용했다고 11일 밝혔다.

나빌레라는 칠순에 어릴 적 꿈이던 발레에 도전하는 덕출(박인환)과 무의미한 삶을 살다 그의 발레 선생님이 된 청년 채록(송강)의 성장 드라마다.

CJ올리브네트웍스는 스튜디오드래곤, CJ ENM과 협업을 통해 발레리노 대역 안무와 주연 배우의 얼굴을 합성, 정교하면서 자연스러운 모습을 연출했다. 회사 측은 “페이스 에디팅(Face Editing) 기술을 드라마에 적용한 국내 최초의 사례”라고 설명했다.



페이스 에디팅은 학습 데이터 수집, 데이터 처리, 모델 학습, 얼굴 교체 과정으로 진행됐다. CJ올리브네트웍스의 AI-코어 연구소는 작품의 완성도를 높이기 위해 원본 얼굴과 대상 얼굴을 추출한 뒤 데이터를 분석·시각화해 최적의 학습 데이터셋을 구축했다.

또한 AI 기술 중 하나인 생성적 적대 신경망(GAN)을 사용해 해당 영상의 각 프레임에 교체할 얼굴을 합성했다. 주인공들의 이목구비 뿐 아니라 머리의 전체적인 구조와 목 부분까지 자연스럽게 합성해 생동감 있는 발레 장면을 만들었다는 설명이다.

손종수 CJ올리브네트웍스 AI-코어연구소장은 “자체 개발한 얼굴 합성 최적화 기술을 고도화 하는 등 AI 기반의 페이스 에디팅 기술을 통해 휴머니즘과 감동을 지속적으로 제공하며 미디어 산업 발전에도 기여하겠다”며 “해당 기술이 악용되는 일이 없도록 블록체인 등의 인증 기술을 사용해 보완 장치를 마련할 것”이라고 말했다.

한편, CJ올리브네트웍스는 지난해 12월 Mnet 프로그램 ‘다시 한번’에서 고(故) ‘터틀맨’ 얼굴을 AI 기반의 페이스 에디팅 기술로 재현한 바 있다.