내 피아노 선생님은 AI 피아니스트..인간 연주자와 협연도 거뜬

[이데일리 강민구 기자]

[이데일리 문승용 기자]

“해보실 분 있나요?” 지난 1일 KAIST 존해너홀에서 한 연구자가 묻자 청중석에서 몇 명이 손을 번쩍 들었다. 연주가 처음이라는 청중들은 즉석에서 간단한 멜로디만을 오른손으로 직접 연주하고 자동 연주 피아노의 도움을 받아 쇼팽의 녹턴곡을 연주했다. 피아노 뒤 스크린에는 바이올린 연주자 3명, 첼로 연주자 1명이 연주하는 영상이 피아노 연주자의 속도에 맞춰 반응하며 하모니를 만들었다. 또 다른 공연에서는 피아니스트의 연주에 맞춰 인공지능(AI)피아노가 반주를 하면서 4중주도 거뜬히 해냈다.

AI가 발전하면서 클래식 공연과 음악 교육도 바꾸는 시대가 성큼 다가오고 있다. 사람이 복합적인 행위를 한다는 점에서 아직 인간을 대체하기는 어렵다. 하지만, AI 기술 등이 발전하면서 초보자의 클래식 연주를 돕는 ‘클래식 노래방’ 시대부터 AI와 함께하는 클래식 공연으로 예술 영역에서 활용 영역을 넓힐 것으로 보인다.

최근 ‘인공지능과 음악연주 국제 심포지엄’ 참석차 한국을 찾은 일본, 오스트리아의 연구자와 우리나라의 전문 피아니스트는 이러한 기술 변화에 주목하면서 기존 클래식 소비 연령층을 다변화하는 등 AI가 만들 다양한 기회를 활용해야 한다고 조언했다.

카를로스 에두아르도 칸시노 차콘 오스트리아 요하네스 케플러대 교수가 AI피아노를 연주하고 있다.(사진=이데일리 강민구 기자)

◇데이터 수집하고, 딥러닝 기술 적용

AI를 이용한 음악 공연의 원리는 휴대폰 애플리케이션에서 리듬게임을 하는 방식과도 유사하다. 기본적으로 음악 연주에서 악기 디지털 인터페이스(MIDI)와 같은 신호 정보를 처리하고, 음악 정보를 검색하는 방식을 이용한다.

실제 공연에서는 연주와 소음을 분리하고, 머신러닝과 딥러닝으로 학습시킨다. 인간과 컴퓨터의 상호작용을 위한 AI 기술과 시각 정보 기술이 발전하면서 얼굴 표정 분석과 행위 동작을 기반으로 연주자들을 이해하면서 다음 행동을 예측하도록 하기 위한 연구도 이뤄지고 있다.

가장 큰 변화가 이뤄지고 있는 악기는 피아노다. AI 피아니스트를 통해 초보자의 연주를 돕고, 전문 연주자의 연주법이나 반주를 돕는 형태로 발전하고 있다. 집에서도 클래식 악기를 배우고 즐기는 ‘클래식 노래방’ 시대가 다가오는 셈이다. 야마하는 ‘초보 연주자를 위해 조율된 반주 피아노’ 시스템인 다레데모 피아노를 이용해 장애가 있는 어린이, 노인 등을 위한 연주시스템을 개발하고 있다. 연말에 장애가 있는 3명의 AI 피아니스트와 오케스트라단, 합창단이 베토벤 교향곡을 연주하는 공연도 선보일 계획이다.

아키라 마에자와 야마하 수석연구원(왼쪽)과 카를로스 에두아르도 칸시노 차콘 오스트리아 요하네스 케플러대 교수(오른쪽).(사진=이데일리 강민구 기자)

아키라 마에자와 야마하 수석연구원은 “클래식 음악 업계가 발전하려면 수요가 커져야 하는데 AI피아니스트는 초보자들이 인간 스승에 대해 배우면서 자신의 기대치를 충족시키지 못해 그만두는 사례를 막아준다”며 “기존 클래식 공연에 색다른 시도를 하는 한편 초보자도 노래방처럼 피아노를 집에서 연주하는 교육 시스템을 개발하기 위해 AI 기술들을 접목하고 있다”고 설명했다.

AI는 전문 연주자들을 위한 수단으로도 영역을 확장하고 있다. 대만 중앙연구원 연구팀은 바이올린 연주자의 동작을 분석하고, 운지법을 분석해 연주를 돕기 위한 연구도 하고 있다.

다만, 음악연주가 일부 곡에 대해서만 할 수 있고, 예측보다 반응에 머물러 있어 연구개발이 더 필요한 단계다. 그럼에도 보수적인 클래식 업계에서도 새로운 기회로 볼 수 있다는 게 전문가들의 시각이다. 가령 AI 작곡이 활용되는 것처럼 악기 연주 시대도 올 수 있다.

피아노 연주자이자 AI 연주 연구자인 카를로스 에두아르도 칸시노 차콘 오스트리아 요하네스 케플러대 교수는 “현 시스템은 주로 솔로 파트(AI피아노) 탐지와 악보 추적과 같은 반응에 초점을 맞췄는데 앞으로는 예측 가능하도록 해야 한다”며 “또 단조로운 멜로디나 두드리기와 같은 제한된 환경에서만 구현되고 있는데 규모를 키워 복잡한 음악에서도 구현하도록 하는 것이 관건”이라고 설명했다.

우리나라에서도 전문 예술인들도 이러한 변화에 주목하기 시작했다. 박종화 서울대 교수(피아니스트)는 AI 혁신이 기존 클래식 연주자들의 보조적인 수단으로 쓰이면서 새로운 공연 문화를 만들 수 있으리라 기대했다.

박종화 교수는 “AI와 연주자의 상호작용으로 연주의 즐거움을 경험하도록 하는 시스템의 발전 모습을 지켜보고 있다”면서 “전문 음악가로서도 무의식적으로 하는 행위나 동작들을 이해해 음악에 대한 깊이를 확장하기를 원하고 있다”고 했다.

박 교수는 “AI가 당장 연주자를 대체하기는 어렵다. 그 이유는 피아노만 해도 선율이 많고, 동시에 눌러지는 소리가 6~10개씩 되기 때문에 이를 기계가 듣고 분석하기 까다롭다”면서도 “AI 연구자 커뮤니티에서 난제들을 해결하려는 시도가 있기 때문에 AI 연주의 다양한 기회가 올 것”이라고 부연했다.

박종화 피아니스트가 연주하는 것을 실시간으로 채보한 결과를 리듬게임처럼 스크린에 보여주고 있다.(사진=이데일리 강민구 기자)