fMRI를 활용해 인간의 마음을 읽으려는 시도는 이미 여러 번 있었다. 인간의 뇌는 특정 부위가 사용될 때 혈류가 증가하는데, fMRI는 이러한 변화를 밀리미터 단위로 잡아내 뇌과학 연구에 눈부신 발전을 이끌어냈다. 미국의 뇌과학자 잭 갤런트(Jack Gallant)는 fMRI로 뇌의 어느 부분에 단어가 저장되어 있는지 연구해 ‘어휘 지도’를 그렸고, 이 지도가 네이쳐지 표지를 장식하기도 했다. 일상에서 쉽게 접할 수 있는 사례는 법정에서 사용되는 ‘거짓말 탐지기’다.
그런데 fMRI는 특정 자극을 포착해내기까지 몇초간 지연되는 ‘약점’을 갖고 있어, 아주 짧은 문장이나 단어만 포착할 수 있었다. 인간이 일상생활처럼 말하고 생각하면 fMRI가 신호를 포착할 동안 20개 이상 단어가 뒤섞여버려 그 의미를 해석하기 어렵고 오차도 컸다. 때문에 연속적인 언어를 파악하는 연구에서는 뇌에 직접적으로 기기를 심는 방법을 주로 썼다. 그러나 기기를 심는 방법은 뇌 손상으로 언어장애를 가진 사람들에 한정적으로 사용됐다.
미 텍사스대 소속 연구진은 이러한 fMRI의 한계를 인공지능 학습을 통해 극복했다. 원리는 텍스트 ‘자동완성’ 기능과 비슷하다. AI는 fMRI에 담긴 ‘후보 단어’를 감지하고, 각 후보 단어별로 다음으로 올 수 있는 단어를 예측해서 제시한다. 데이터가 쌓일수록 AI는 가장 ‘정답’일 가능성이 높은 단어 연속을 유지해 정확도를 높였다.
실험 결과, AI는 피험자가 특정 이야기를 듣는 동안 발생하는 뇌 변화를 읽고, 일반적인 자동완성 기능보다 훨씬 더 정확하게 이야기 내용을 재구성했다. 피험자가 “난 아직 운전면허가 없고...(중략)”라는 문장을 들었다면, 해석기는 “그녀는 운전을 배우는 걸 시작하지도 않았다”는 식으로 결과물을 내놨다. 문장을 완벽히 재현하는 것이 아니라, ‘어떤 내용을 말했는지’ 파악한 것이다. 또한 두뇌 해석기는 피험자가 이야기를 듣지 않고 머릿속으로 ‘상상’해도 내용을 재구성했다.
더 나아가, 두뇌 해석기는 피험자들이 무성 영화를 보고 생각한 영화의 줄거리를 읽어내기까지 했다. 피험자는 한 여성이 용의 꼬리에 맞아 넘어지는 영상을 봤는데, 해석기는 피험자의 fMRI를 해석하고 “나는 나와 비슷한 소녀가 등을 맞고 넘어지는 것을 본다(i see a girl that looks just like me get hit on her back and then she is knocked off)”는 문장을 출력해냈다.
연구진인 제리 탱(Jerry Tang)은 자신의 트위터에 “이것은 두뇌 해석기가 비언어적 의미를 읽어내는 작업으로 전환될 수 있음을 시사한다”고 설명했다. fMRI가 인간의 언어만 읽어내는 것이 아니라 인간이 상상하는 이미지의 의미를 읽어낼 수 있다는 얘기다. 이미지 뿐이랴. 인간이 느끼는 감정을 읽어낼 때가 올지도 모른다.
다만, 제리 탱은 이러한 연구가 적극적인 ‘피험자의 협력’이 있을 때만 가능했다고 전했다. 피험자가 실험에 적극적으로 집중할 때 해석기가 성공적으로 의미를 읽어낼 수 있고, 그렇지 않을 때 해석 능력이 이해할 수 없을 정도로 떨어졌다는 게 그의 설명이다.
그럼에도 이 ‘마음을 읽는’ 기술에 대한 우려를 놓을 수 없다. 제리 탱 역시 “연구진의 가장 큰 우려는 악의적인 목적으로 두뇌 해석기 결과를 잘못 해석할 수도 있다는 것”이라며 “정신적인 사생활을 보호하는 법안을 만드는 것이 중요하다고 생각한다”고 덧붙였다. 이제는 우리 머릿속 상상까지 ‘법적’으로 보호할지 고민해야 하는 세상이 왔다.
