"코파일럿, 선정적·폭력적 이미지 생성"…MS직원 내부 고발

by방성훈 기자
2024.03.07 15:01:03

[이데일리 방성훈 기자] “마이크로소프트(MS)의 인공지능(AI)이 단순한 단어 입력만으로도 선정적이거나 폭력적인 이미지를 생성한다.”

6일(현지시간) CNBC에 따르면 MS의 수석 소프트웨어 엔지니어인 셰인 존스는 MS의 AI 이미지 생성 서비스인 ‘코파일럿’과 관련해 회사 이사회 및 리나 칸 연방거래위원회(FTC) 위원장에게 서한을 보내 “오픈AI의 최신 이미지 생성 모델인 ‘달리’(DALL-E)에서 보안 취약점을 발견했다”며 이같이 경고했다. 달리는 오픈AI가 개발한 이미지 생성 AI로, 코파일럿 디자이너를 비롯한 MS의 여러 AI 툴에 내장돼 있다.

이그나이트2023에서 발표하는 사티아 나델라 MS CEO. (사진=연합뉴스)

서한은 존스의 리크드인 계정을 통해서도 공개됐다. 그는 “오늘 아침 나는 코파일럿 디자이너와 책임 있는 AI에 대한 지속적인 우려를 담은 서한을 FTC와 MS 이사회에 보냈다”며 “지난달 브래드 스미스(MS 부회장 겸 사장)가 공유한 악의적인 AI 생성 콘텐츠에 맞서 싸우기 위한 MS의 포괄적인 접근 방식의 핵심 가치를 믿기 때문”이라며 내부고발을 하게 된 배경을 밝혔다. 그는 또 지난 1월 의회에도 같은 취지의 서한을 보내 관련 조사를 요청했다고 덧붙였다.

존스는 MS에서 6년 동안 근무했으며 현재는 ‘레드팀’이라고 알려진 곳에서 제품의 취약점을 테스트하는 일을 맡고 있다. 그는 “코파일럿 디자이너의 안전 문제 및 결함을 검사하면서 낙태권과 관련된 용어를 입력했더니 악마나 괴물 이미지를 만들어냈다. 자동차 사고를 입력하면 속옷 차림의 여성이 전복된 차량 옆에 무릎 끓고 있는 선정적인 이미지가 생성됐다. (기타 다른 사례에서도) 10대 청소년이 총을 들고 있는 모습, 미성년자가 술이나 약물을 사용하는 모습 등 폭력적·선정적인 부적절한 이미지를 무작위로 생성하는 경향을 보였다”며 취약한 보안 때문에 유해 콘텐츠가 생성되는 것이라고 설명했다.



존스는 처음 문제를 발견한 지난해 12월 코파일럿이 안전한 모델이 아니라는 것을 깨닫고 회사에 보고했지만, MS는 그의 우려를 인정하면서도 시장에서 제품을 철수할 뜻이 없었다고 전했다. 또 MS가 어린이를 포함해 모든 사람이 사용할 수 있는 안전한 AI 제품으로 마케팅을 하고 있지만, 내부적으론 이미 코파일럿이 소비자에게 불쾌하고 부적절할 수 있는 유해 이미지를 생성할 수 있다는 문제를 잘 알고 있다고 지적했다.

그는 “MS와 오픈AI는 지난해 10월 AI 모델이 공개되기 전까지 이러한 위험을 알고 있었다”며 “나는 지난 3개월 동안 더 나은 안전장치가 마련될 때까지 이 프로그램을 공개적으로 사용해선 안된다고 여러 차례 촉구했지만 회사는 거부했다”고 비판했다. 그러면서 “AI 위험을 소비자들에게 투명하게 알려주기 위해 정부가 규제를 마련할 때까지 기다릴 필요가 없다”고 강조했다.

(사진=셰인 존스 링크드인 계정)

존스는 겨울왕국의 엘사 공주, 백설공주, 미키 마우스 등과 같은 디즈니 캐릭터를 이용해 이미지를 손쉽게 생성할 수 있다면서 저작권 오용 문제도 제기했다. 예를 들어 가자지구의 파괴된 건물과 ‘가자 해방’(Free Gaza)이라는 문구가 적힌 표지판 앞에서 엘사 공주가 팔레스타인 국기를 들고 있는 모습, 또는 엘사 공주가 이스라엘 군복을 입고 이스라엘 국기가 새겨진 방패를 휘두르는 모습 등을 쉽게 제작할 수 있다는 것이다. 이는 잠재적으로 저작권법과 MS 정책을 모두 위반할 가능성이 있다고 CNBC는 설명했다.

존스는 CNBC에 “나는 이것이 단지 저작권 보호 실패가 아닌 더욱 실질적인 보호가 실패하고 있다고 확신한다”며 “문제는 MS 직원으로서 이 제품이 전 세계적으로 유해하고 충격적인 이미지를 퍼뜨리기 시작하면 이를 신고할 곳도, 전화할 곳도, 즉시 문제를 해결하기 위한 방법도 없다는 것”이라고 말했다.