뉴튠, 저작권 문제 없이 ‘AI 음악 리믹스’…어떻게?

by김현아 기자
2024.01.17 10:08:38

[이데일리 김현아 기자]스타트업 뉴튠(대표 이종필)이 인공지능(AI)으로 아티스트 음악을 리믹스하고 활용할 수 있는 ‘AI리믹스’를 선보였다. 유명 아티스트 노래를 프롬프트 입력만으로 리믹스하는 건 사실상 처음이다.

음악 분야는 저작권이 까다로운데 어떻게 이런 일이 가능했을까? 기술적인 배경은 무엇이고, 리믹스된 음악의 저작권은 누구에게 있을까?

뉴튠의 ‘믹스 오디오’. 뉴튠은 카이스트 MAC(Music and Audio Computing) 연구실 출신의 이종필 대표와 음악공학자들, 프로듀서, 미디어 아티스트와 DJ, 인디밴드 등 다양한 출신의 사람들이 모여 2020년 창업했다. AI 음원 분석, 합성 기술을 가지고 있으며, 2023 CES 혁신상 및 지난 9월에는 문화체육부 장관 표창을 받았다. 카카오벤처스와 신한캐피털로부터 초기 투자를 유치했다. 사진=뉴튠

AI로 음악을 리믹스하려면 원곡(데이터)에 대한 저작권이 필요하다.

뉴튠은 이를 위해 국내 유수의 아티스트들과 직접 협업 음원을 제작하고, AI 리믹스 등 2차 창작을 위한 별도의 라이센스 계약을 맺어 저작권 문제를 해결했다.

넉살, 도끼, 신스 등 최정상 힙합아티스트를 비롯 수란, 마샬 등 알앤비 아티스트들과 덤파운데드, 스티뮬레이터 존스, 니콜 등 해외 인디 뮤지션들까지 다양한 스펙트럼의 카달로그를 구축했다.

아티스트와 진행한 협업 음원은 단순히 하나의 곡으로 제작되는데 그치지 않고, 곡으로 구성될 수 있는 스템 수준의 음악블록 세트로 제작됐다.

나중에는 팬들과 상호작용 가능한 인터랙티브 트랙으로 메타버스 플랫폼 및 대체불가능토큰(NFT)의 형태로도 구체화될 수 있다는 게 업체 설명이다. 베타서비스중인 현재 40여곡에 대한 저작권을 확보한 상태이고 리믹스된 음악은 10만곡에 달한다.

뉴튠은 현재 AI음악 생성서비스 ‘믹스오디오’를 베타 서비스하고 있다. 그런데 이 서비스는 음악 지식이 없어도 원하는 음악에 대해 프롬프트를 입력하거나, 이미지, 레퍼런스 음악을 입력하는 방식으로 2~3초만에 리믹스를 생성할 수 있다.

예를 들어 신스(SINCE)의 이모 힙합 스타일 트랙 ‘렛잇고(Let It Go)’를 택해 프롬프트로 ‘재즈힙합 스타일로 바꿔줘’라고 입력하면 AI가 자동으로 재즈힙합 스타일의 리믹스를 생성해주는 식이다.

레퍼런스 음악을 유튜브에서 검색해 그 링크를 입력하면 유사한 스타일로 리믹스를 생성할 수도 있다.

‘한스 짐머‘의 음악 링크를 입력하면 어떤 곡이든 그 영화음악 스타일의 리믹스가 생성되는 식이다. 음악 생성 분야의 다양한 AI 서비스가 나오고 있지만, 이러한 리믹스 기능을 AI로 구현한 것은 믹스오디오가 세계 최초다.

회사 관계자는 “저희는 음악, 소리를 블록으로 본다”면서 “음원을 분석하고 합성하는 기술을 갖고 있다”고 설명했다.

뉴튠은 앱이 아닌 웹서비스만 제공 중이다. 지금은 베타서비스 기간이라 무료다. 회원 수는 4000명에 육박한다.



인터넷에서 ‘믹스오디오’를 치고 들어가면 선택 가능한 아티스트 목록이 있고 해당 목록의 사진을 클릭하면 리스트가 뜨고 이를 리액션하면 음악을 믹싱할 수 있다.

회사 관계자는 “유명 가수의 신곡이 나왔을 때 리듬, 기타 등을 나만의 스타일로 재구성해 팬카페에서 공유하는 시장을 봤는데 아직 열리지 않은 것 같아 당장은 배경음악 시장을 보고 있다”면서 “국내 시장이 크지 않아 글로벌로 나갈 계획”이라고 전했다.

배경음악이나 매장음악 시장을 겨냥해 AI라디오 기능을 추가한 것도 같은 맥락이다.

AI 라디오 기능은 사용자가 원하는 무드나 테마를 입력하면 거기에 맞는 음악들을 연속적으로 무한히 스트리밍해주는 기능으로, ‘집중할 때 들을 만한 감성 가득 사운드’ 라거나 ‘체육관에서 운동하며 들을 에너제틱한 음악‘ 등을 프롬프트로 입력하면 이에 맞는 음악이 연속적으로 재생되는 식이다.

이는 마치 ‘로우파이 걸’ 등으로 대표되는 유튜브 음악플레이리스트를 AI가 사용자의 필요에 맞게 자동생성해주는 것과도 같다.

믹스오디오

‘믹스 오디오’에 회원가입하고 프롬프트를 활용해 생성한 리믹스 트랙은 저작권 문제없이 자신의 콘텐츠에 바로 사용할 수 있다.

현재는 무료다. 다만, 저작권을 이용자에게 양도하는 개념은 아니다. 저작권은 뉴튠에게 있고, 이를 이용자에게 양도하는 개념이다.

그런데 현행 저작권법에서는 AI로 만든 음악은 저작권으로 보호받지 못한다. 이 문제는 뉴튠이 풀어야할 숙제다.

이종필 뉴튠 대표는 ‘믹스오디오를 통해 단순히 저작권 없는 음악을 생성하는 것에 그치지 않고, IP를 가진 아티스트의 음악을 AI를 통해 리믹스해 듣거나, 2차 활용하는 새로운 가치사슬을 만드는 것이 목표’라며 ‘앞으로는 개인이 자신의 무드에 맞게 아티스트의 음악을 변형해 듣거나, 자신만의 창작물로 자유롭게 재탄생시키는 시대가 될 것’이라 전했다.

뉴튠은 AI 음악 기술 스타트업이다. 카이스트 MAC(Music and Audio Computing) 연구실 출신의 이종필 대표와 음악공학자들, 프로듀서, 미디어 아티스트와 DJ, 인디밴드 등 다양한 출신의 사람들이 모여 2020년 창업했다. 현재 직원 수는 14명이다.

AI 음원 분석, 합성 기술을 가지고 있으며, 2023 CES 혁신상 및 지난 9월에는 문화체육부 장관 표창을 받았다. 카카오벤처스와 신한캐피털로부터 초기 투자를 유치했다.

뉴튠이 만든 믹스오디오는 2023년 11월 베타 버젼이 공개되면서 최초로 멀티모달을 적용한 AI 음악 생성기로 이름을 알렸다. 2023년 CES에서 혁신상을, 2024년 독일 디자인 어워드에서 ‘Winner’를 수상한 바 있다.

특히 저작권 없는 배경음악이 필요한 크리에이터들을 중심으로 호응을 얻어, 2개월이 채 안된 현재까지 10만개가 넘는 곡을 생성하며 관심을 얻고 있다.