유튜브는 6일 블로그를 통해 “합성된 노래를 식별할 수 있는 새로운 기술을 개발했다”며 “유트브 상에서 자신의 노래 목소리를 모방하는 AI 생성 콘텐츠를 자동으로 감지하고 관리할 수 있다”고 밝혔다. 유튜브는 해당 기술이 탑재된 파일럿 프로그램을 내년초 출시할 예정이다.
또 유튜브는 크리에이터, 배우, 음악가, 운동선수 등 다양한 분야의 유명인들이 유튜브에서 자신의 얼굴을 나타낸 AI 생성 콘텐츠를 감지하고 관리할 수 있는 새로운 기술을 개발하고 있다고 밝혔다.
최근 유명인의 목소리와 영상을 섞는 방식의 딥페이크 피싱(피해자를 기망, 협박해 개인정보 및 금융거래 정보를 요구하거나 피해자의 금전을 이체하도록 하는 수법)이 기승을 부리고 있다. 또 딥페이크를 이용한 성범죄 이미지, 영상물이 유통되면서 사회적 논란이 커지고 있다.
유튜브 기술이 목소리, 얼굴을 활용한 AI콘텐츠를 감지한 후 관련 콘텐츠 등이 유통되지 않도록 관리할 수 있다면 딥페이크를 활용한 피싱 등의 범죄도 예방할 수 있을 전망이다.
유튜브 내 업로드된 콘텐츠를 활용해 또 다른 딥페이크 콘텐츠를 만드는 행위는 유튜브 서비스 약관을 위반하는 행위이기도 하다. 유튜브는 “유튜브 콘텐츠를 무단으로 활용하는 것은 유뷰트 서비스 약관을 위배하는 것이고 크리에이터의 결과물에 대한 대가로 유튜브가 크리에이터에게 제공하는 가치를 훼손한다”고 밝혔다.