"카메라 앞에 섰을 뿐인데 웹툰에 들어와버렸습니다"(영상)

by정다슬 기자
2023.02.28 12:16:35

28일 서울 강남구 코엑스에서 열린 네이버 데뷰 컨퍼런스에 마련된 ‘웹툰미’ 체험 부스에서 참석자들이 인생 네컷을 찍고 있다. (사진=이데일리 정다슬 기자)

[이데일리 정다슬 기자] 요즘 MZ세대에 유행하는 셀프 스튜디오의 부스와 크게 다르지 않다. 1080HD 웹캠과 대형모니터, 컴퓨터가 한대 놓여있을 뿐이다. 그 앞에 서니 어딘가 익숙한 듯 익숙하지 않은 만화 캐릭터가 대형모니터에 크게 비췄다. 깜짝 놀란 표정을 지었더니 만화 캐릭터도 깜짝 놀란다. 아, 이게 내 캐릭터구나. 깨달음과 함께 웃었더니 캐릭터도 같이 웃었다.

28일 서울 강남구 코엑스에서 열린 네이버 데뷰 컨퍼런스에서는 ‘웹툰미’ 기술 시연 부스가 운영돼 대중에게 처음으로 공개됐다. ‘여신강림’, ‘팔이피플’, ‘이말년 씨리즈’, ‘복학왕’, ‘호랑이형님’ 등 네이버웹툰의 대표작 캐릭터로 변신해 네 컷 사진을 찍을 수 있었다.

네이버웹툰이 선보인 웹툰미는 딥러닝 기술을 이용해 실사 이미지를 웹툰 캐릭터와 배경으로 변환하는 기술이다. 웹툰은 작가의 화풍에 따라 사람을 표현하더라도 전혀 다른 특징을 가지고 있다. 이 특징을 실사에 반영해 그 웹툰 속에 들어간 듯 캐릭터화해주는 것이 웹툰미의 기술이다.

이날 컨퍼런스에서는 웹툰미를 개발한 김승권 개발자·백지혜 연구자가 웹툰미를 어떻게 구현했고 기술적 장벽을 어떻게 해결했는지를 소개했다.

웹툰미 개발팀은 불과 3명. 이 3명이 빠른 속도로 결과물을 내놓기 위해 개발팀은 먼저 패스트에이아이(fast.ai)로 빠르게 모델을 생성하는 방향을 선택했다. 추상화가 높더라도 최대한 빠르게 작고 유의미한 성공을 보여주고 이를 바탕으로 전문가를 섭외해 점점 성능을 높여나가자는 전략이다.

높은 추상화는 컴퓨터 그래픽스 기반의 다양한 전처리, 후처리 기술을 통해 낮춰나가고 텐서RT를 적용해 추론 속도를 높여 실시간으로 이미지 처리가 가능하게 했다. 특히 머릿결이 잘 표현되지 않고 전경과 배경이 하나의 스타일로 조정되지 않는 문제는 스테이블 디퓨전을 통해 해결했다. 처음에는 글라지오(Gradio)와 스트림릿(Streamlit)과 같은 오픈소스를 사용해 데모 애플리케이션을 만들었으나 나중에는 전용 앱도 만들었다.



개발과정에서 의도치 않은 난제도 있었다. 첫번째는 화이트워싱(Whitewashing)이었다. 웹툰의 특성상 캐릭터의 피부색이 대부분은 하얀탓에 웹툰미를 적용시키면 피부색이 갑자기 밝아져 버린 것이다. 특히 이는 피부색에 따른 차별에 민감한 해외에서는 중요한 문제였다. 이에 개발팀은 원본이미지의 피부톤을 그대로 가져오는 것으로 문제를 해결하고자 했다.

두번째는 현실세계의 다양한 조명상태에 따른 색감을 어떻게 단일화할 것인가였다. 형광등이냐, LED등이냐, 야외이냐, 실내냐에 따라서 같은 사람을 찍더라도 전혀 다른 피부색이 나왔다. 다양한 조건의 환경에서 웹툰미를 활용할 수 있도록 개발팀은 기존 데이터셋 분포를 반영하는 기술을 개발했다.

이렇게 개발된 웹툰미 기술을 네이버 쇼핑라이브 등을 통해 활용되고 있다. 유저들의 흥미를 유발하고 몰입감을 높여 마케팅 효과를 거둘 수 있다는 설명이다. 아울러 △해외 웹툰 비즈니스 파터 마케팅 기술 지원 △웹툰 스튜디오 전시회 기술 지원 △인터렉티브 웹 △웹툰 AI 아바타 등으로 향후 활용영역을 늘려나가겠다는 계획이다.

아울러 개발팀은 스테이블 디퓨전을 활용해 더 높은 개인화와 실기간 변환, 다양한 웹툰 캐릭터를 지원하는 ‘웹툰미 2.0’을 현재 준비 중이다. 현재는 부스라는 환경조건이 조절되는 공간에서 시연하고 있지만, 앞으로는 모바일 등 단말기에 탑재할 수 있도록 앱을 경량화·고도화한다는 계획이다.

김대식 네이버웹툰 AI 리드는 “앞으로 웹툰미를 활용해 다양한 실험을 진행할 예정”이라며 “이용자와 창작자 모두에게 도움이 되는 혁신적이면서 재미있는 기술을 연구해 네이버웹툰만의 인공지능(AI) 기술력을 강화해 나가겠다”고 밝혔다.