고려대, AI 검색·추론 과정 조작하는 보안 취약점 규명

[이데일리 김응열 기자] 고려대 연구팀이 인공지능(AI)의 검색·추론 과정에 외부에서 조작한 정보를 개입시켜 최종 답변을 왜곡할 수 있는 보안 취약점을 발견했다.

(왼쪽부터)고려대 컴퓨터학과의 장부루 교수(교신저자), 최찬우 석박통합과정(공동제1저자), 김은태 석박통합과정(공동제1저자), 이규호 석사과정(공동제1저자). (사진=고려대)

고려대는 장부루 컴퓨터학과 교수가 이끄는 언어 및 지능 연구실(LILab)이 생성형 AI의 답변 생성 과정 중 특정한 답변을 유도하는 보안 취약점을 규명했다고 28일 밝혔다.

최근 챗GPT와 제미나이의 ‘딥 리서치’처럼 AI가 필요한 정보를 스스로 검색하고 추론을 반복해 답변을 만드는 ‘에이전틱 RAG’(Agentic Retrieval-Augmented Generation) 기술이 확산하고 있다. 이때 외부 검색 결과에 포함된 조작된 정보가 추론 및 의사결정 과정에 영향을 미칠 경우 시스템이 잘못되거나 편향된 답변을 사용자에게 제공할 우려가 있다. 보안의 중요성도 덩달아 커지고 있다는 의미다.

이에 화이트 해커처럼 공격자의 관점에서 시스템 취약점과 악용 가능성을 선제적으로 파악하는 연구가 활발히 이뤄지고 있다. 하지만 여러 단계의 검색과 추론을 반복하는 에이전틱 RAG가 실제 서비스 환경에서 외부 공격에 어떻게 노출되는지를 체계적으로 분석한 연구는 부족한 상황이었다.

연구팀은 시스템 내부에 접근하지 않고도, 외부에 게시한 조작 문서를 에이전틱 RAG가 순차적으로 검색하도록 유도하는 공격 기법 ‘KidnapRAG’을 제안했다. 하나의 조작 문서로 최종 답변을 직접 변경하는 대신 검색 단계마다 조작 문서가 지속적으로 개입해 판단 방향을 점진적으로 바꾸고 최종적으로 공격자가 의도한 답변을 생성하도록 유도하는 방식이다.

이때 KidnapRAG은 상용 에이전틱 RAG 서비스가 사용자에게 보여주는 검색 과정과 중간 정보를 활용한다. 공격자는 이를 통해 에이전틱 RAG가 다음에 어떤 정보를 찾을지 파악하고 각 검색 단계에서 노출될 수 있도록 조작 문서를 설계한다. KidnapRAG는 공격자가 의도한 응답을 생성하도록 효과적으로 유도했으며 최대 78%의 공격 성공률을 기록했다.

연구팀은 이번 연구를 통해 외부의 조작된 정보로 에이전틱 RAG의 검색·추론 경로가 왜곡되는 과정을 사전에 점검하고 이를 탐지·차단하는 보안 기술을 설계할 수 있을 것이라고 내다봤다.

장부루 교수는 “이번 연구가 더 안전하고 신뢰할 수 있는 AI 에이전트 개발에 기여하길 기대한다”고 말했다.