AI로 만든 가짜 판례가 법정에…사법부, '허위 증거' 검증 골머리

[이데일리 이지은 기자] 최근 생성형 인공지능(AI) 사용이 일상화하면서 소위 ‘AI 환각 현상’으로 그럴듯하게 만들어진 허위 증거가 법정에 제출되는 사례가 잇따르고 있다. 특히 존재하지 않는 사건번호를 인용하거나 판례 내용을 왜곡하는 일이 빈번해지면서 최종적인 검증 책임을 지는 사법부의 고심도 깊어지는 상황이다.

(자료= 법원행정처, 그래픽= 김일환 기자)

사건번호 조작부터 법리 왜곡까지…전국 법원 몸살

AI를 활용한 허위법령·판례 인용 사례는 전국 각지의 법원에서 발견되는 것으로 나타났다.

지난해 10~11월 법원행정처로 접수된 AI 활용 허위법령·판례 인용 사례에 따르면 대구고등법원에서는 소송 대리인이 존재하지 않는 ‘대법원2000다57763판결을 인용했다가 재판부의 석명 요청을 받자 ’대법원 2012다11454‘라는 허위 판례를 재차 인용하며 “번호가 부정확할 수 있다”고 주장하는 일이 벌어졌다.

서울북부지법에서는 당사자 본인이 제출한 서면에 존재하지 않거나 관련 없는 대법원 판례 여러 건이 인용된 것을 확인하고 재판부가 판결문에 해당 사건번호가 실재하지 않는다는 취지를 명기했다.

법률 해석 자체를 왜곡하는 경우도 늘고 있다. 부산지방법원의 한 즉결심판 사건에서는 피고인이 챗GPT를 활용해 도로교통법상 휴대전화 ’사용‘의 의미에 대한 허위 판례를 만들어 제시했다. 광주지방법원에서도 민사소송법 제451조에 정해진 재심 사유를 실제 법률 내용과 전혀 다르게 기재한 준비서면을 제출했다.

현재 대부분의 법관들은 판례가 인용될 경우 직접 검색을 하는 방식으로 검증을 진행하고 있다. 특히 가상의 사건번호는 상대적으로 쉽게 찾을 수 있지만 사건번호와 내용이 맞지 않는 경우는 시간과 노력을 들여야 확인을 해야 한다.

법원행정처 관계자는 “과거에는 문장이 허술해 티가 났다면 최근에는 문장이 길고 중언부언하면서도 논리 자체는 그럴듯해 보이는 경우가 많아 판사들 사이에서 ’이 논리로 판례를 새로 만들어야 하느냐‘는 농담이 나올 정도”라며 “며 ”최근 여러가지 다양한 유형들이 생겨나고 있고 이런 일을 겪지 않은 판사들은 거의 없다고 보여질 만큼 만연하다“고 설명했다.

지난 2월 법원행정처가 발간한 '법관을 위한 AI 가이드북' 중 당사자가 준비서면에서 인용한 판례의 허위성(환각) 검증 사례 내용. (자료=법원행정처)

’AI 활용‘ 법원 고지 의무화 추진…허위 인용 시 과태료도

AI 활용으로 소송 비용이나 지연이 발생한 경우 개별 재판부 재량에 따라 △당사자·대리인에게 소송 비용 부담 △변론 시 진술 제한 △판결문에 허위 내용 적시 △대한변호사협회 징계 의뢰 등의 실무적 조치가 이뤄질 수 있는 상황이다.

사법부 차원의 지침도 마련됐다. 지난 2월 각급 법원에 배포된 ’법관을 위한 AI 가이드북‘에는 준비서면에 인용된 판례의 허위성을 검증하는 방법론을 상세히 제시됐다. ’해당 사건 번호가 실재하는 지 포털·법제처·대법원 등을 통해 교차검증할 것‘ ’존재한다면 서면에 적힌 판시 사항이 실제 원문과 일치하는 지 비교할 것‘ 등 구체적인 프롬프트가 담겼다.

법원행정처 사법지원실을 중심으로는 AI 활용 사실을 법원에 의무적으로 고지하고 내용을 확인하게 하는 민사소송규칙 개정안을 마련하고 있다. 아울러 AI 허위 법령·판례 제출 시 과태료를 부과하는 내용을 골자로 하는 민사소송법 개정 입법도 추진 중이다.

서울중앙지방법원 전경. (사진= 서울중앙지방법원)

민사 90%가 ’나홀로 소송‘…”못 거른 판사가 최종책임“

로펌업계에서도 AI 활용에 따른 사고를 방지하기 위해 자체 검증 방안을 고안하고 있다. 현재 태평양과 광장, YK 등 주요 대형 법무법인들은 대부분 폐쇄형 독자 플랫폼을 구축해 오류 가능성을 최소화하는 방향으로 대응하고 있다.

법무법인 YK 관계자는 ”기존 변호사들이 작성한 문건을 익명화해 그대로 활용하면 서면이 쌓여갈수록 성능이 좋아지고 환각현상은 대폭 줄어들 것“이라며 ”다만 AI가 생성한 초안 작업물은 담당 변호사의 철저한 검수와 수정을 거쳐야 한다“고 설명했다.

다만 소송 관계자들 사이에서 전방위적으로 늘어나는 AI 사용량을 감안하면 검증되지 않은 정보가 법정의 문턱을 넘는 일은 더 잦아질 것으로 보인다.

특히 소형 로펌이나 개인 사무실의 운영하는 변호사들의 경우 인력 문제로 AI 의존도가 높아지고 있을 뿐만 아니라 AI를 활용해 법률 대리인 없이 직접 소송을 진행하는 사람도 늘고 있어서다. 변호사 선임이 의무가 아닌 민사소송에서 최소 한 쪽이 ’나홀로 소송‘을 한 경우는 2024년 1심 본안 처리 사건의 89.7%에 달한다.

사법부의 검증 부담은 당분간 가중될 수밖에 없는 상황이다. 한 서울고법 부장판사는 ”당사자나 변호사가 AI를 활용해 서면을 잘못 작성해온 것도 문제지만 결국 그들의 오류를 걸러내지 못한 최종 책임은 판사에 지워지는 것“이라며 ”AI 환각현상이 반영된 확정판결이 나오게 된다면 법원의 신뢰도에 큰 영향이 생길 것“이라고 우려했다.