국회의원 보도자료에도 챗GPT…수학 낙제는 "문제 이해 부족"

[이데일리 함정선 기자] 국회의원이 챗GPT를 활용해 법안을 분석한 보도자료를 내고 한 스타트업은 챗GPT를 이용한 코딩강의 프로그램을 내놓았다.

미국에서 의사 면허 시험을 통과하고 로스쿨 입학시험도 합격했다는 챗GPT가 3월이면 대학 입학을 앞둔 새내기들이 지난해 치렀던 ‘2023학년도 대학수학능력시험문제’를 풀기도 했다. 다만, 국내에서는 영어과목은 꽤 잘했지만, 수학에서는 ‘낙제’ 평가를 받았다.

오픈AI가 개발한 인공지능(AI) 챗봇 ‘챗GPT’가 국내에서도 일상으로 파고들며 영향력을 키우고 있다. ‘나’와는 거리가 멀게 느꼈던 AI가 삶에 가까이 다가오면서 챗GPT를 다양하게 활용하는 사례가 늘어나면서다.

7일 안병길 의원(국민의힘)은 챗GPT를 활용해 ‘양곡관리법’의 영향을 분석한 보도자료를 배포했다. 챗GPT가 양곡관리법에 대해 ‘공무원 부패로 이어질 수도 있다’고 분석했다는 내용이다.

양곡관리법 개정안은 쌀 가격이 하락하면 정부가 시장의 쌀을 의무적으로 매입하는 등의 내용을 담은 것으로 지난 1월 30일 국회 본회의에 부의됐다.

[이데일리 문승용 기자]

안 의원은 챗GPT에 양곡관리법에 대한 문제를 물었더니 △정부 부채 증가 △과잉 생산 문제 △시장의 비효율성 초래 △공공의 부패 유발 △농업 경쟁력 저하 등 5가지를 들었다며 “AI도 분명하게 알고 있는 양곡관리법의 폐해를 민주당만 모르고 있다”고 비판했다.

교육 관련 스타트업인 팀스파르타는 이날 온라인 코딩 강의 ‘스파르타코딩 클럽’에 챗GPT를 도입했다. 수강생들이 학습하다 문제를 마주했을 때 빠르게 오류를 해결하고 다음 단계에 진입할 수 있도록 하기 위해서라는 설명이다.

수강생이 오류가 난 자신의 코드를 입력하면 챗GPT가 해당 코드를 분석, 바로 오류 원인을 알려주는 방식이다.

이처럼 영역을 확대하고 있는 챗GPT가 수능 시험에서 굴욕을 겪기도 했다. 시험평가 및 기술검증 기관인 애나와 연세대학교 인공지능대학 김시호 교수 연구팀이 챗GPT가 수능 영어와 수학 시험 문제를 풀게 한 결과, 챗GPT는 영어에서는 82점을 취득 ‘2등급’ 수준의 능력을 보였지만 수학에서는 20문제 중 6문제를 맞히는 데 그쳤다. 특히 확률과 통계, 미적분학, 기하 분야의 문제는 전부 오답을 출력했다.

챗GPT가 수능에서 수학 문제를 제대로 풀지 못한 것에 대해서는 아직 ‘수학적 언어’를 완전하게 학습하지 못했기 때문일 가능성이 크다고 봤다. 단순 연산이 아닌 수능 시험에서 제시하는 수학 문제는 문제를 완벽하게 이해해야만 풀어낼 수 있는데, AI인 챗GPT는 해당 문제를 아직 완벽하게 이해할 만큼 학습을 진행하지 못했다는 것이다.

최경진 인공지능·빅데이터 정책연구센터장은 “챗GPT가 사회과학적 질문에 대한 이해는 잘 돼 있지만 아직 수학적 질문에 대한 이해는 제대로 돼 있지 않기 때문이라고 볼 수 있다”며 “이 때문에 우리 언어로 된 독자적인 언어 생성 AI가 필요하다”고 말했다.

전문가들은 챗GPT와 같은 생성AI가 생활 속에서 활용되는 사례는 앞으로 점점 늘어날 것으로 보고 있다. ‘생성AI’라는 이름처럼 글이든 그림이든 음악이든 무엇을 만들어내는 ‘도구’로 활용할 수 있기 때문이다.

장병탁 서울대 AI연구원장은 “챗GPT와 같은 AI를 도구로 쓰고 사람은 더 고차원적인 일을 해야 한다”며 “다만, 챗GPT 등이 인간처럼 언어를 구사하는 것처럼 보이나 결국은 문서를 학습하기 때문에 편향된 정보나 편견을 학습할 수 있어 앞으로 그것을 가려 판단할 수 있는 장치를 마련해야 할 것”이라고 말했다.

(사진=게티이미지)