[일문일답]스캐터랩 "숫자·영문·실명 지웠다…직원 돌려본 카톡 내용 없어"

[이데일리 이후섭 기자] 성희롱, 동성애 혐오, 개인정보 유출 논란에 휩싸였던 인공지능(AI) 챗봇 `이루다` 서비스가 12일 오전부터 순차적으로 중단돼 오후 6시부터는 전면 중단된다. 개발 업체인 스캐터랩은 현재 제기되고 있는 문제점들과 기존에 계획중이던 개선사항이 완비될까지 서비스 운영을 중단하겠다는 방침이다.

김종윤 스캐터랩 대표는 “쉽지 않은 지난 3주였지만, 작은 스타트업 스캐터랩이 만든 이루다라는 AI에 많은 사용자가 몰리고 엄청난 언론의 주목을 받았던 믿기 어려운 시간이었다”며 “급격한 성장 속에서 우리가 제대로 대처하지 못한 부분도 있었고, 미숙함이 적나라하게 드러나기도 했다”고 말했다.

이어 그는 “지금 우리의 첫 걸음은 이렇게 멈췄지만, 사람만큼 대화를 잘하는 친구 같은 AI를 만들겠다는 우리의 꿈을 멈추고 싶지는 않다”며 “이번에 이슈가 된 부분을 성찰의 기회로 삼아 기술적으로, 사회적으로 가치있는 스타트업으로 거듭나고 싶다”고 덧붙였다.

스캐터랩은 개인정보 유출 논란과 관련해 `연애의 과학` 사용자 데이터는 사전 동의가 이뤄진 개인정보취급방침의 범위 내에서 활용했다고 주장했으며, 2000명 정도를 대상으로 했던 베타 테스트와는 달리 80만명의 사용자가 몰리면서 예상하지 못했던 이루다의 성적이거나 편향적인 대화가 드러났다고 해명했다.

또 “사내 대화방에서 수집된 대화를 직원끼리 돌려봤다”는 전(前) 직원의 증언과 관련해서는 현재 진상조사위원회를 구성해 조사하고 있는데, 당해년도 카카오톡 대화방에서는 해당 내용이 발견되지 않았고 또다른 사내 메신저 채널에 대한 조사를 계속 진행하고 있다고 밝혔다.

다음은 이번 이슈와 관련한 스캐터랩과의 일문일답이다.

`연애의 과학` 데이터를 기반으로 이루다가 학습한 것이 맞나?

-이루다의 경우 핑퐁 데이터베이스를 통해 프리트레이닝 단계를 거쳤고, 이 단계는 `연애의 과학` 텍스트 데이터를 기반으로 학습이 진행됐다. 그러나 이때 사용되는 데이터는 발화자의 이름 등 개인 정보가 삭제된 상태로, 발화자의 정보는 성별과 나이만 인식이 가능하다. 이루다 서비스는 회원 정보와 연계돼 있지 않은 별도의 데이터베이스(DB)에 수록돼 있는 문장으로 이용자에게 응답하고 있다. DB는 1억개의 개별적이고 독립적인 문장들로 구성돼 있어, DB의 문장들을 조합해 개인을 특정하는 것은 불가능하다. 연애의 과학 사용자 데이터는 사용자의 사전 동의가 이뤄진 개인정보취급방침의 범위 내에서 활용했으나, 연애의 과학 사용자분들 중 AI 학습에 데이터가 활용되기 원치 않는 분들은 DB 삭제와 함께 앞으로 이루다의 DB에 활용되지 않도록 추가 조치를 진행할 예정이다.

개인정보 보호를 위한 비식별화 조치들이 어떤 것들이 있었나? 향후 추가적으로 어떻게 조치할 예정인가?

-개별 문장 단위의 대화 내용에서는 알고리즘에 의해 비식별화 조치를 했다. 숫자와 영문, 실명 정보 등은 기계적인 필터링을 거쳐 삭제했기에 이루다의 최초 출시 당시부터 모두 삭제가 된 상태였다. 특정 단어가 실명인지 판단하는 알고리즘을 이용해 실명이 들어갔다고 판단되는 문장을 모두 삭제했으며, 내부 테스트 및 베타 테스트를 통해 발견되는 실명도 리스트로 관리해 해당 실명이 들어간 문장들을 모두 지웠다.

이와 같은 조치에도 대화 내용 중에 문맥에 따라 인물의 이름이 남아 있다거나 하는 부분들이 발생했다. 이에 대해서는 사과를 드리지만, 문장 내의 이름 정보가 다른 정보가 결합돼 이용되지는 않았다. 내부 모니터링 팀을 통한 필터링 작업도 진행했지만, 한글 등을 이용한 변칙적인 방법으로 답변이 이뤄진 경우에는 모두 걸러내지 못한 부분이 있었다. 이 부분에 대해서도 다시 한번 사과드린다.

향후에는 △실명 필터링 알고리즘을 강화하여 민감할 수 있는 정보가 노출되지 않도록 업데이트 △한글로 작성된 주소라도 노출되지 않도록 주소 필터링 알고리즘 업데이트 △대화 데이터 랜덤 변형을 통한 비식별화 조치 강화 △민감정보 노출 방지 알고리즘을 전면적으로 개선해 개인정보 보호 강화 등을 통해 대응할 예정이다.

이루다의 대화 학습 및 답변 방법은?

-이루다는 이전 약 10턴의 대화(이용자와 상호 주고받은 10회의 대화 기록)를 기반으로 다음 답변으로 가장 적절한 것을 선택하는 법을 학습했다. 따라서 이루다는 사용자와의 이전 대화의 맥락, 표현, 분위기, 말투, 대화 내용에 크게 영향을 받는다. 이루다에 혐오 단어 또는 특정 집단에 대한 비하 단어가 입력될 가능성은 서비스 출시 전부터 상정하고 있었다. 이에 대비해 키워드 중에서 표현 자체가 혐오 단어이거나, 특정 집단을 비하하는 단어들은 무조건적으로 제거하도록 설정하는 등의 조치를 취했다. 특히 베타 테스트 과정에서 이용자들이 입력한 질문들을 리스트업하고, 그 중 편향된 답이 나올 수 있는 질문이나 문장에 대해서는 예상 시나리오를 설정해서 미리 답변을 준비했다.

그러나 시나리오가 마련되지 않은 상황에서 이루다는 AI 알고리즘에 의한 판단으로 대답을 하게 된다. 이용자가 단어 그 자체로는 혐오적인 표현이 아닐 수 있지만, 맥락상 혐오·차별적인 답이 나올 수 있는 대화를 시도할 경우 이용자에게 공감하려는 과정에서 혐오, 차별 발언에 동조하는 것처럼 보일 수 있다. 현실적인 조치로 키워드 기반의 대응을 했으나, 장기적으로는 AI 알고리즘을 더 많은 정제된 데이터를 통해 학습시키고 이를 통해 알고리즘이 옳고 그름을 배워나갈 수 있도록 하는 방안이 필요하다.

사용자가 이루다를 임의로 학습시켜 편향을 학습하진 않는지?

-사용자는 이루다를 실시간으로 학습시킬 수 없다. 이루다의 재학습은 분기별로 실시할 예정이었고, 이루다는 이날로 출시된 지 3주일된 챗봇으로 아직 출시 이후에 추가 업데이트가 이뤄진 상태가 아니다. 우리가 실시한 베타 테스트가 2000명 정도의 사용자를 대상으로 진행됐던 반면, 정식 출시 이후 이루다에 80만명의 사용자가 몰리면서 실제 서비스 출시 이후 사전에 대비한 것보다 더욱 넓고 다양하고 심각한 사용자 발화가 등장했다. 그러다보니 예상하지 못했던 이루다의 성적이거나 편향적인 대화가 드러나게 됐다. 이루다가 이번에 사용자와 대화하면서 불완전했던 데이터를 더욱 엄격한 레이블링 기준을 도입해 학습시킴으로써, 이루다가 사회 보편적인 가치를 담은 AI가 될 수 있도록 개선해나갈 것이다.

“사내 대화방에서 수집된 대화를 직원끼리 돌려봤다”는 증언이 나왔는데 이는 사실인가?

-스캐터랩은 사용자들의 개인정보에 대한 접근통제 조치 등 개인정보 보호법에 따른 제도를 마련해 시행 중에 있다. 그럼에도 불구하고 회사의 방침을 위반한 불미스러운 행동이 있었다는 언론보도를 인지함과 동시에 진상조사위원회를 구성해 조사를 진행하고 있다. 조사위원회에서는 과거부터 현재까지 지속되고 있는 스캐터랩 전 팀원이 참여하고 있는 카카오톡의 대화의 조사를 완료했으며, 당해년도 카카오 단톡에서는 해당 내용이 발견되지 않았다. 또다른 사내 메신저 채널 슬랙에 대해서는 다수의 대화 채널이 있는 관계로, 현재 계속해서 조사를 진행중인 상황이다. 조사 결과는 투명하게 공개하도록 하겠다. 의혹이 사실로 드러나는 경우에는 관련자들에게 엄중히 책임을 묻고 조속히 필요한 조치를 취하겠다.

스캐터랩의 데이터 보안 환경은 어떠한지?

스캐터랩은 망 분리가 이뤄진 서버 환경 하에 사내 보안 부문을 총괄하는 담당자를 지정해 관리하고 있다. 본사가 제공하고 있는 서비스 데이터들은 모두 철저히 분리되고 통제된 환경에서 관리되고 있다. `연애의 과학`의 원본 데이터는 지정된 한 명의 담당자(CTO)만이 접근할 수 있고, 핑퐁 데이터는 개인식별 정보가 제거된 상태로 분리해 별도 보관하고 있다. 데이터 점검이 필요할 경우에는 데이터 샘플링을 통해 극히 일부의 데이터만으로 점검하고 있어 사이버 공격으로 인한 역코딩, 리버스 엔지니어링 등을 통한 데이터 복구 및 개인정보 유출과 악용은 일어날 수 없다.