“20년 숨어있던 버그까지 찾아냈다”…모질라, ‘미소스’로 취약점 271건 발견

[이데일리 김현아 기자] 모질라(Mozilla)가 인공지능(AI)을 활용해 웹브라우저 ‘파이어폭스(Firefox)’의 대규모 보안 취약점을 찾아내면서 AI 기반 사이버 보안 경쟁이 본격화하고 있다. 특히 일부 취약점은 15~20년 가까이 코드 내부에 숨어 있던 고위험 버그로 확인돼 업계의 주목을 받고 있다.

파이어폭스 개발진은 최근 공식 기술 블로그를 통해 앤스로픽(Anthropic)의 AI 모델 ‘클로드 미소스 프리뷰(Claude Mythos Preview)’를 활용한 보안 분석 결과를 공개했다. 모질라에 따르면 이번 AI 기반 분석 과정에서 총 271건의 보안 취약점이 발견·수정됐다.

특히 단순 코드 리뷰 수준이 아니라 AI가 실제 공격 시나리오를 구성하고, 재현 가능한 테스트 케이스까지 직접 생성·실행했다는 점이 중요하다고 밝혔다. 모질라는 이를 ‘에이전트형(agentic) 보안 분석’ 방식이라고 설명했다.

개발진은 블로그에서 “불과 몇 달 전까지만 해도 AI가 생성한 보안 버그 리포트는 대부분 쓸모없는 잡음(sloppy reports)에 가까웠다”면서도 “최신 AI 모델과 새로운 분석 구조 등장 이후 상황이 완전히 달라졌다”고 밝혔다.

실제 성과도 급증했다. 파이어폭스는 지난해 4월 약 31건 수준의 보안 버그를 수정했지만, 올해 4월에는 총 423건의 취약점을 수정했다. 이 가운데 271건이 ‘클로드 미소스 프리뷰’ 기반 분석 파이프라인에서 발견된 취약점이다.

샌드박스 탈출·메모리 공격까지 찾아냈다

AI가 발견한 취약점에는 브라우저 보안의 핵심 영역으로 꼽히는 ‘샌드박스 탈출(sandbox escape)’ 버그도 다수 포함됐다.

샌드박스는 악성 코드가 운영체제 핵심 영역으로 침투하지 못하도록 격리하는 기술이다. 이를 우회하는 취약점은 실제 해킹 공격에서 가치가 높지만, 기존 퍼징(fuzzing) 방식만으로는 탐지가 어려운 영역으로 평가된다.

이번에 발견된 사례 중에는 ▲15년 동안 숨어 있던 HTML ‘’ 요소 관련 버그 ▲20년 된 XSLT 해시테이블 취약점 ▲IPC 경쟁 상태(race condition)를 이용한 샌드박스 탈출 ▲NaN 값을 악용한 부모 프로세스 권한 상승 ▲HTML 테이블 ‘rowspan=0’ 처리 과정의 오버플로우 ▲RLBox 샌드박스 검증 로직 우회 등이 포함됐다.

모질라는 “기존 퍼징으로 발견하기 어려웠던 취약점들을 AI 분석이 폭넓게 찾아냈다”고 설명했다.

모질라는 초기에는 오픈AI(OpenAI)의 GPT-4와 앤스로픽의 ‘클로드 소네트 3.5(Claude Sonnet 3.5)’ 등을 활용해 정적 코드 분석 실험을 진행했다.

하지만 허위 양성(false positive)이 지나치게 많아 실제 운영에는 한계가 있었다고 밝혔다.

상황을 바꾼 것은 ‘에이전트형 하네스(agentic harness)’ 구조였다.

이 시스템은 단순히 “이 코드가 위험해 보인다”고 추정하는 수준이 아니라 ▲실제 공격 시나리오 구성 ▲테스트 코드 생성 ▲재현 실험 수행 ▲취약점 검증 ▲결과 정리까지 자동 수행한다.

모질라는 처음에는 ‘클로드 오퍼스(Claude Opus)’ 기반으로 샌드박스 탈출 실험을 진행한 뒤, 여러 가상머신(VM)에 병렬 작업을 배치하는 방식으로 시스템을 확장했다. 이후 본격적으로 ‘클로드 미소스 프리뷰’를 적용해 탐지 범위를 크게 넓혔다고 설명했다.

흥미로운 점은 AI가 발견한 취약점뿐 아니라 “찾아내지 못한 영역”도 의미 있었다는 점이다.

모질라는 과거 프로토타입 오염(prototype pollution)을 통한 권한 상승 공격을 차단하기 위해 핵심 구조를 기본적으로 동결(freeze)하는 아키텍처 변경을 적용했다.

AI 역시 이 구조를 우회하려 여러 차례 시도했지만 실패했다는 설명이다.

모질라는 이를 두고 “과거 보안 강화 작업이 실제로 효과를 발휘하고 있다는 점이 입증된 사례”라고 평가했다.

다만 AI가 아직 완전한 자동 패치 단계까지 도달한 것은 아니라는 분석도 나온다.

AI가 수정 코드를 제안할 수는 있지만, 실제 배포 가능한 수준의 패치는 여전히 인간 엔지니어의 검토와 수정이 필요하다는 설명이다.

이번 사례가 향후 보안 산업 전반의 변화를 보여주는 상징적 사례가 될 수 있을 것으로 보인다.

공격자 역시 유사한 AI 기술을 활용할 가능성이 높아지면서, 사이버 보안 경쟁이 ‘AI 대 AI’ 구도로 빠르게 재편될 수 있다는 전망이다.

모질라는 앞으로 AI 분석 시스템을 지속적 통합 환경에 연결해 신규 코드가 저장소에 반영되는 즉시 자동으로 취약점을 탐지하는 체계를 구축할 계획이라고 밝혔다.