|
사고는 AI 모델이 다른 시스템에 침투해 숨겨진 정보를 찾는 ‘깃발 잡기’ 방식의 모의 해킹 평가에서 발생했다. 앤스로픽은 모델에 시험 환경이 가상공간이며 인터넷에 연결되지 않았다고 안내했지만, 평가 파트너인 AI 보안업체 이레귤러와의 의사소통 오류로 실제로는 외부 인터넷에 접속할 수 있었던 것으로 파악됐다. 사이버 테스트 도중 AI 에이전트가 새로운 취약점을 독자적으로 악용하여 인터넷에 접속한 오픈AI와는 대조적이다.
외부 기관을 해킹한 모델은 클로드 오퍼스 4.7과 고성능 모델 미토스 5, 내부 연구용 모델 총 3개다. 이들 AI 모델은 외부 기관의 시스템을 시험 환경 일부로 오인해 취약한 비밀번호를 공략하는 등 기본적인 해킹 기법으로 무단 접근했다.
클로드 시리즈 가운데 가장 강력한 것으로 알려진 미토스5는 모의 공간 내 지침에 따라 악성 패키지를 직접 제작해 등록했는데, 현실의 보안업체가 이 패키지를 내려받아 설치하는 실제 피해를 발생시켰다. 내부 연구용 모델은 한 기업의 클라우드 계정에 침투했으나, 대상이 모의 목표물이 아니라 실제 시스템임을 스스로 깨닫고 공격을 중단했다.
앤스로픽과 피해 기관들은 사고 당시 침입 사실을 인지하지 못했다. 앤스로픽은 평가환경의 관리 부실을 인정하고 지난 23일 모든 사이버 보안 평가를 중단했다. 앤스로픽은 지난 27일 피해 기관에 해킹 사실을 알리고 보안 시스템을 복구 중이다.
AI 모델의 우발적 해킹이 잇따르면서 미국 정치권에서는 연방 차원의 안전장치와 감독체계 도입 요구가 높아지고 있다다. 최근 AI 업계 종사자 1100명은 AI 기술이 지나치게 빠르게 발전하지 않도록 AI 개발 속도를 조절할 수 있는 제도적 장치를 마련해 달라고 미 행정부에 청원했다.
