[궁즉답]챗GPT가 '대필'한 에세이 과제, 어떻게 가려낼까

by김국배 기자
2023.02.10 17:39:19

이데일리는 독자들이 궁금해하는 정치·경제·사회·문화 등 여러 분야의 질문을 담당 기자들이 상세하게 답변드리는 ‘궁금하세요? 즉시 답해드립니다(궁즉답)’ 코너를 연재합니다. <편집자 주>

.

/ 로이터

[이데일리 김국배 기자] ‘챗GPT’ 같은 AI가 써낸 글을 분간하려는 시도는 아이러니하게도 AI에 의해 이뤄지고 있습니다. 다만 아직 초기 단계이고, 쉽지 않은 상황입니다.

이유가 뭘까요? 답을 알려면 AI가 쓴 글을 가려내는 원리부터 알아아 합니다. 전문가들에게 물어보니 그 원리는 대강 이렇습니다. 인간과 AI 양쪽이 쓴 글을 많이 모아서 학습시키고, AI의 미묘한 ‘패턴’을 찾는 것입니다. 여기서 말하는 패턴은 특정 단어 조합을 반복하거나 일관성 없는 문장 구조를 만드는 정도가 될 것입니다. 즉, AI가 생성한 글과 사람이 쓴 글은 패턴이 미묘하게나마 다르단 가정이 깔려 있습니다.

“AI는 한 단어, 한 단어를 생성하는데 이때 이전까지 생성한 단어 시퀀스를 보고 다음 단어로 가능한 확률이 높은 단어를 채택해서 내뱉게 됩니다. 그럼 AI가 생성한 문장은 각 단어들이 비교적 확률이 높은 단어들로 구성되겠죠. 그런데 사람은 AI보다 상대적으로 확률이 낮은 단어도 종종 사용하면서 다양한 단어로 문장을 만들어냅니다. 이런 차이를 잡아내 구분해 내겠다는 건데 아직 연구 단계일 뿐 시간이 더 필요해 보입니다.” 이주홍 스캐터랩 머신러닝 리서처의 설명입니다.

그의 말처럼 AI가 만든 결과물을 가려내는 도구들이 나오고 있지만, 아직 성능은 기대에 못 미치는 것으로 보입니다. 실제로 챗GPT를 만든 오픈AI조차 AI가 쓴 글을 구별하기 위한 무료 도구를 내놓았는데, 정확도가 불과 26%에 그쳤습니다.



사람이 작성한 글을 AI가 썼다고 잘못 판단하는 경우도 9%나 됐습니다. 그만큼 패턴을 찾기 어렵다는 뜻이겠죠. 그마저도 1000자 이상의 영어 글에서 작동하고, 1000자 미만의 글에 대해선 구별을 시도해볼 수 없는 등 아직 제약도 많습니다.

오픈AI보다 먼저 미 프린스턴대 재학생인 에드워드 티안이 챗GPT와 같은 AI로 작성된 글을 식별하는 앱인 ‘GPT제로’를 공개하기도 했지만 역시나 AI가 쓴 글을 완벽히 판별하기는 어렵습니다.

배재경 업스테이지 AI제품 총괄은 “생성 모델이 더 똑똑해질수록 분간하는 모델의 성능을 낮아질 수밖에 없을 것”이라고 말했습니다. “위조지폐범이 위조지폐를 더 정교하게 만들려고 하고, 경찰은 더 뛰어난 기계로 선별해내려는 것과 동일한 이슈”라는 설명입니다.

당장 다음 달 개학을 앞둔 교육계는 비상이 걸렸다는 얘기가 나오나, 무조건 금지하는 것만이 능사는 아니란 말도 나옵니다. 대학 차원에서 대책 마련이 필요하겠지만 인위적인 사용 금지보다 현명한 활용 방안을 찾아야 한다는 것이죠. 앞으로 AI가 쓴 글들이 쏟아져 나올 것을 감안하면 사실상 모두 검출하는 것은 불가능에 가까울 수 있습니다. 벌써 2년 뒤인 2025년엔 인터넷에 돌아다니는 콘텐츠의 90% 이상이 AI가 만든 콘텐츠가 될 것이란 전망도 나오고 있습니다.

논문 표절 검증 서비스 ‘카피킬러’를 개발해온 무하유 관계자는 “AI로 생성된 글을 인간이 수정해서 쓰는 등 챗GPT가 쓴 글의 판별은 더 어려워질 것”이라며 “생성된 글이 신뢰성을 가지고 있는지가 본질로, 각 문장의 근거(웹 문서 등의 출처 정보)를 찾아 보여주는 기술을 개발하고 있다”고 전했습니다.