딥페이크 범죄 확산에…배경훈 "AI 안전 생태계 전면 구축하겠다"

[이데일리 강민구 기자] 최근 딥페이크 기술이 유명인을 범죄에 악용되는 사례가 급증하고 있다. 이달 배우 이정재가 AI 딥페이크 기술을 활용한 로맨스 스캠(사칭 사기)의 피해자로 지목된 사건은 대표적인 사례다. 범죄 조직은 AI로 생성한 가짜 얼굴 이미지와 영상, 위조된 신분증을 사용해 배우를 사칭했고, 이를 믿은 50대 여성으로부터 약 5억원을 편취했다. 납치·감금 범죄가 증가하는 캄보디아에서는 한국 여성들이 감금된 채 동일한 로맨스 스캠에 동원된 사실도 드러났다. 이처럼 AI 에이전트 등 인공지능 기술이 고도화되면서 이를 악용한 범죄도 빠르게 확산되며 심각한 사회 문제로 떠오르고 있다.

배경훈 부총리 겸 과학기술정보통신부 장관이 23일 오후 경기도 성남시 분당구 인공지능안전연구소를 방문해 ‘딥페이크 탐지, AI에이전트 안전성 평가 시연’ 설명을 듣고 있다.(사진=과학기술정보통신부)

23일 AI안전연구소에서 열린 AI 안전 관련 산학연 전문가 간담회에서 배경훈 부총리 겸 과학기술정보통신부 장관은 내년 1월 시행 예정인 ‘AI 기본법’을 언급하며 기술적 대응과 국가 차원의 안전 체계 강화를 강조했다. 배 장관은 “국민이 안심하고 사용할 수 있는 인공지능은 AI 공존 사회의 첫걸음”이라며 “AI 안전이 모든 산업과 일상생활 전반에 스며들 수 있도록 과기정통부가 관계부처·유관기관과 협력해 연내 ‘(가칭)국가 AI 안전 생태계 조성 종합계획’을 마련하겠다”고 밝혔다.

“英·美·日 이어 한국도 AI안전연구소 가동…딥페이크·AGI 대응 박차

딥페이크는 ‘딥러닝(Deep Learning)’과 ‘가짜(Fake)’의 합성어로, 실제 인물의 얼굴이나 음성 등을 조작해 진짜처럼 보이게 만드는 기술을 의미한다. 이에 대응하기 위해서는 합성 여부를 구별할 수 있는 탐지 기술뿐 아니라, AI 에이전트가 악용되지 않도록 안전성을 강화하는 기술도 필수적으로 요구된다. 특히 범용인공지능(AGI)과 AI 에이전트 시대가 본격화될 경우, 예측하지 못한 새로운 형태의 피해가 발생할 가능성이 있어 AI 안전 확보는 더욱 중요해지고 있다.

영국, 미국, 일본 등 주요국은 이러한 위험에 대응하기 위해 AI안전연구소를 설립했으며, 우리나라도 글로벌 흐름에 맞춰 지난해 AI안전연구소를 출범시켰다. 현재 AI안전연구소는 딥페이크 탐지 기술과 AI 에이전트 안전성 평가 기술 개발에 착수한 상태다. 합성된 이미지의 진위 여부를 판별하고, 이를 동영상에도 적용하기 위한 방법을 연구 중이다. 또한 AI 에이전트에 악성 명령어가 주입되거나 이미지에 악성코드가 삽입되는 사례를 탐지하고, AI 시스템의 안전성을 실시간 평가하는 기술 개발도 병행하고 있다.

김명주 AI안전연구소장은 “생성부터 배포, 피해 발생까지 전 과정에서 안전성을 강화해야 하며 범부처 차원의 지원이 필요하다”며 “딥페이크 탐지와 에이전트 안전성 평가 기술을 실시간으로 구현할 수 있는 체계를 구축해 나가겠다”고 밝혔다.

정부는 AI안전연을 통해 안전 기술 개발을 가속화하는 동시에, AI 위험 대응과 신뢰성 확보를 위한 ‘(가칭) 국가 AI 안전 생태계 조성 종합계획’을 수립해 내년 시행되는 AI기본법과 연계해 추진할 계획이다.

배경훈 장관은 “민간 기업이 단독으로 수행하기 어려운 핵심 기술을 연구소가 선도적으로 개발하고, AI 에이전트 시대에 대비해 신뢰성 평가, 인증 체계 구축, 산업 현장 확산까지 함께 이루어져야 한다”고 강조했다. 그는 “AI가 유용한 도구인 만큼 그 이면의 위험에도 대비해, 국민이 안심하고 사용할 수 있는 개인형 AI 에이전트 환경을 조성하는 것이 중요하다”고 덧붙였다.

또한 배 장관은 “이제는 한국의 AI 기술력이 글로벌 수준을 증명해야 할 시점”이라며 “국내 AI 모델이 뛰어난 성능뿐 아니라 신뢰할 수 있는 안정적 체계를 갖출 수 있도록 제도적 기반을 마련하겠다”고 밝혔다. 이어 “최근 국가정보자원관리원 화재나 KT 소액결제 사고 등으로 정보보호 중요성이 더욱 강조된 만큼, AI 분야에서는 동일한 문제가 반복되지 않도록 안전 환경을 구축해야 한다”고 말했다.