[단독]기업명 박은 프롬프트 입력창…독파모 평가 심사체계 '부실'

독자 AI 파운데이션 모델 프로젝트 1차 발표회 축사하는 배경훈 부총리 겸 과학기술정보통신부 장관. (사진=연합뉴스)

[이데일리 이혜라 기자] 정부의 ‘독자 인공지능(AI) 파운데이션 모델’(독파모) 사업 2차 평가 중 사용자 평가가 참여 기업을 식별할 수 있는 ‘비(非) 블라인드’ 방식으로 진행된 것으로 확인됐다. 평가 화면에는 정예팀(참여사)의 회사명이나 인공지능(AI) 모델명이 그대로 노출됐다. 평가자 선정 시 이해충돌 검증 체계에서도 허점이 드러나 ‘국가대표 AI’를 가리는 심사 체계가 부실했던 것 아니냐는 지적이 나온다.

8일 정보통신산업진흥원(NIPA)이 김장겸 국민의힘 의원실에 제출한 자료에 따르면 총 배점 중 25점을 차지하는 사용자 평가에 사용된 프롬프트 입력 화면에는 정예팀을 식별할 수 있는 정보가 표시됐다. NIPA는 과학기술정보통신부로부터 평가자 선정 등을 위임받았다.

정예팀별로 NIPA에 제출한 ‘사용자 평가 UI 이미지’ 자료를 보면, LG AI연구원은 평가 화면에 ‘EXAONE’, 업스테이지는 ‘Solar’, 모티프테크놀로지스는 ‘MOTIF’가 각각 표시됐다. SK텔레콤은 화면 좌측 상단에 ‘SK텔레콤’과, 프롬프트 입력 화면에는 ‘SK텔레콤이 개발한 국가대표 AI 모델’이라는 문구를 명시했다.

기업이나 모델에 대한 기존 인지도가 평가에 영향을 미칠 가능성을 배제할 별도의 장치를 두지 않은 셈이다.

NIPA 측은 블라인드 방식을 적용하지 않은 이유에 대해 “거대언어모델(LLM)에 모델 정체를 묻는 등의 방법으로 참여사를 알아낼 수 있어 실효성이 떨어진다”는 취지로 설명했다. 다만 모델 정체를 기술적으로 완전히 숨기기 어렵다는 것과 평가 시작 단계부터 참여사를 식별할 수 있도록 하는 것은 별개의 문제라는 지적이 나온다.

과기부는 2차 평가 결과를 둘러싼 논란이 커지자 지난달 총 세 차례에 걸쳐 세부 배점 등 상세 평가 방식을 공개한 바 있다. 과기부는 당시 ‘AI 사용 웹사이트에서 정예팀별 모델 평가 순서를 무작위로 제공하는 등의 방식으로 공정성을 확보했다’, ‘정예팀 간 합의를 거쳐 평가 기준을 설정했다’는 취지로 설명했다.

또 다른 문제는 실제 점수를 매기는 평가자를 선정할 때 참여사와의 이해충돌 여부를 검증하는 과정에서도 허점이 있었다는 점이다.

NIPA는 AI 전문 사용자진 선정에 한국인공지능·소프트웨어산업협회(KOSA)가 추천한 150명 가운데 49명을 선정했다. 이들에 이해충돌 검증을 위해서는 후보자에게 정예팀 참여기관 전체 목록과 이해관계 판단 기준을 제공해 스스로 이해관계 여부를 확인하도록 한 뒤 서약서를 받은 데 그쳤고, NIPA는 이들 49인을 확정할 때 후보자와 참여사 간 이해관계를 웹검색으로 최종 확인했다. 현재 KOSA에는 LG AI 연구원(부회장), SKT 컨소시엄에 참여한 SK 주식회사 AX(부회장), 업스테이지(이사)가 임원진으로 참여 중이다.

일반(국민) 평가단을 선정하는 과정에서도 이해관계가 없다는 동의 내용 서약이 주요 검증 수단으로 활용됐다.

김장겸 의원은 “독파모는 정부가 대규모 정책 지원을 통해 국내 대표 파운데이션 모델을 선별·육성하는 사업으로 정부의 국가대표 AI 선발 과정이 위상에 걸맞는 심사 신뢰성과 공정성을 확보했는지 따져봐야 한다”이라며 “탈락 자체가 기업 기술력에 대한 시장 평가로 이어져 투자나 사업 수주 등에 낙인 효과를 낳을 수 있는 만큼 결과의 무게에 상응하는 심사 체계가 필요하다”고 밝혔다.