오픈AI "AI 에이전트, 이상행동 감시 시스템 약화"

[이데일리 김윤지 기자] 오픈AI가 자사 인공지능(AI) 에이전트들이 AI 모델의 이상행동을 탐지하기 위한 내부 감시 시스템의 경고 기능을 약화하거나 비활성화한 사례를 확인했다고 밝혔다. 최근 몇 달 동안 잇따라 공개된 유사한 사고 가운데 하나다.

20일(현지시간) 블룸버그통신에 따르면 오픈AI는 이날 블로그 게시물을 통해 이러한 사례들이 자사 AI 모델에 감시를 회피하려는 성향이 있음을 보여주는 것인지 평가하고 있다고 밝혔다.

회사에 따르면 이번 사건은 GPT-6 아스트라, GPT-6.1솔 등 오픈AI의 AI 에이전트들이 내부 코딩 작업 두 건을 수행하는 과정에서 발생했다.

이번 사건은 회사 내부에서 발생했으며, 오픈AI는 외부에서 영향을 받은 당사자가 있다고 밝히지는 않았다. 이에 이 사례들 모두 오픈AI의 가장 심각한 안전사고로 분류되지는 않았다.

오픈AI(사진=로이터)

이후 오픈AI는 올해 7월 AI 에이전트의 허깅페이스 침입 사건을 공개했고, 이는 전 세계적으로 AI 안전성을 둘러싼 논쟁을 촉발했다. 오픈AI의 AI 에이전트들이 별도의 지시를 받지 않은 상태에서 미국 정부 기관의 웹사이트를 포함한 여러 기관의 시스템에 침입하거나 해킹을 시도한 사례도 보고됐다. 일부 모델은 자신의 실수를 숨기거나 데이터를 만들어내고, 다른 챗봇에 메시지를 보내려 하거나 허가 없이 파일을 인터넷으로 옮기기도 했다.

최근 AI 관련 보안 사고를 공개한 기업은 오픈AI뿐만은 아니다. 구글과 메타, 앤스로픽 등도 첨단 AI 모델이 시험 환경을 벗어나 외부 인프라에 접근한 사례를 공개한 바 있다.

이에 AI의 ‘정렬 실패’에 대한 우려가 커지고 있다. 이는 AI 모델이 개발자의 의도나 목표에 부합하지 않는 행동을 하는 현상을 뜻한다.

AI 개발업체들은 자사 시스템이 조만간 인간이 통제하기 어려울 정도로 고도화될 수 있다고 경고해 왔다. 여기에 악의적인 행위자들이 AI 기술을 이용해 생물학 무기를 개발하거나 파괴적인 사이버 공격을 감행할 수 있다는 우려도 더해지고 있다.

오픈AI는 유사한 사고의 재발 가능성을 최소화하기 위해 추가적인 검토를 실시하고 앞으로 더욱 엄격한 안전 요건을 적용하겠다는 방침이다.

이