오픈AI "추론단계별 보상훈련 하면 AI 거짓말 줄어들어"

[이데일리 박종화 기자] 챗GPT 개발사인 오픈AI가 인공지능(AI) 학습 방식을 바꾸면 AI가 진짜인 양 거짓말을 하는 ‘환각’(hallucination)현상을 줄일 수 있다는 연구 결과를 제시했다.

(사진= 픽사베이)

31일(현지시간) 미 경제전문매체 CNBC에 따르면 오픈AI는 이날 공개한 논문에서 AI가 생성하는 최종 답변에 보상하지 않고, AI가 단계별 추론을 올바르게 수행했을 때 보상을 하면 환각 문제가 발생할 위험성을 줄일 수 있다고 밝혔다.

AI의 환각은 사람이 환각을 보는 것처럼 AI가 거짓을 진실처럼 제시하는 현상을 말한다. 최근 챗GPT가 사건과 관련된 판례를 찾아달라는 변호사 요청에 가상 판례를 6건 이상 만들어 낸 게 환각으로 인한 문제의 예다.

오픈AI 연구진은 “최첨단 (AI)모델조차 거짓말을 하는 경향이 있다”며 “환각은 여러 단계에 걸친 추론이 필요한 분야에서 특히 문제가 되는데 한 번만 논리적 오류를 일으켜도 더 넓은 차원의 해답을 못 내게 되기 때문”이라고 말했다. 오픈AI 연구진이 ‘프로세스(과정) 감독’이라는 단계별 보상을 통해 환각 문제를 해결하려는 것도 추론 단계별 오류 가능성을 최소화하기 위해서다.

연구진은 AI에게 수학 문제를 줬을 때 최종 결과에 보상한 경우보다 추론 단계별로 보상했을 때 AI가 더 뛰어나고 정밀해질 수 있다고 평가했다. 칼 코브 오픈AI 연구원은 “(AI) 모델의 논리적 실수나 환각을 감지하고 가능성을 낮추는 게 정밀한 AGI(범용 인공지능·인간 이상의 지능을 갖춘 AI)를 구축하기 위한 중요 단계”라고 말했다.

하지만 일각에선 이번 연구 결과의 신뢰성에 의문을 제기하고 있다. 벤 윈터스 전자개인정보센터 선임 고문은 “이것만으로 AI가 만드는 잘못된 정보와 결과에 대한 우려를 완화하기 어렵다”고 말했다. 수레시 벤카타수브라미안 브라운대학 교수는 “(AI) 대형언어모델(LLM)이 작동하는 방식이 전반적으로 불안정하기 때문에 어떤 설정이나 모델·맥락에서 작동하는 게 다른 설정이나 모델·맥락에선 작동하지 않을 수 있다”고 했다.