정부 대신 업계가 먼저…AI 3사, 출시 전 안전성 검증 기구 설립 추진

최첨단 AI 모델을 개발하는 구글, 오픈AI, 앤트로픽이 모델 출시 전 안전성 검증 체계를 담당할 공동 기구 설립에 속도를 내고 있다. 미국 IT 매체 디인포메이션은 세 회사가 이 조직의 가칭을 ‘프런티어 AI 표준기구(SAFA·Standards Authority for Frontier AI)’로 정했으며, 정부 감독의 공백을 메우는 독립 기구로 운영할 계획이라고 보도했다. 출범 시점은 올해 말 또는 내년 초가 목표로 거론된다.

기구가 맡을 업무는 크게 네 가지로 정리된다. 배포 전 모델을 시험하는 제3자 기관을 지원하고, AI 개발사가 안전·보안 사고를 어떤 방식으로 보고할지 정하며, 각 연구소가 자발적으로 내건 안전 약속의 범위를 규정하고, 모델과 연구소를 감사할 독립 감사인의 자격 요건을 마련하는 것이다. 기구가 직접 모델을 평가할지는 아직 정해지지 않았다. 현재 이 업무는 미국 상무부 산하 AI 표준·혁신센터(CAISI)가 맡고 있지만 최첨단 모델을 검증하기에는 자원이 부족하다는 지적이 있어, SAFA가 보완 테스트를 더하는 방안이 논의되고 있다.

구상의 출발점은 지난 7월이다. 데미스 허사비스 구글 딥마인드 CEO는 7월 14일 미국 금융산업규제청(FINRA)을 부분적으로 본뜬 프런티어 AI 표준기구를 제안했다. 새 연방 기관이 아닌 민관 협력형 자율규제 구조였다. 허사비스는 새 모델을 출시 최대 30일 전 기구에 자발적으로 제출해 검사를 받게 하고, 평가 체계의 신뢰성이 확보되면 미국 시장 출시 요건으로 의무화하는 방안을 검토 중인 것으로 전해졌다. 이후 3사 실무진이 워킹그룹을 꾸려 여름 내내 정기적으로 만나 왔다.

당초 계획은 정부가 참여하는 방식이었다. 세 회사는 연방 정부의 감독을 받는 민관 협력 모델을 원했지만, 백악관 행정명령 초안이 보류되면서 추진이 멈췄고 행정부는 업계 합의를 먼저 이루라고 요구했다. 마크 저커버그 메타 CEO와 젠슨 황 엔비디아 CEO가 공개적으로 회의적인 입장을 보인 것도 걸림돌이 됐다. 트럼프 행정부의 규제 회의론과 11월 중간선거를 앞둔 의회 교착까지 겹치자 기업들은 자율 규제로 방향을 바꿨다. 트럼프 대통령은 추가적인 AI 안전장치에 반대하는 입장을 밝혀 왔다.

회사들 사이의 공식 확인도 나왔다. 크리스 르헤인 오픈AI 글로벌 정책 총괄은 9월 중순 앤트로픽, 구글 딥마인드와 수주째 공동 안전 기준 기구를 논의하고 있다고 밝혔다. 그는 이번 협력이 시장 담합이 아닌 위험 관리에 관한 것이라며 반독점 면제가 필요하지 않다고 설명했다. 다만 정부 개입 수준을 두고는 3사 간 온도차가 있다. 오픈AI는 업계 자율 표준에 무게를 두는 반면 앤트로픽은 정부와의 협력을 더 중시하는 것으로 알려졌다.

인선 작업도 진행되고 있다. CEO 후보로는 트럼프 행정부 AI 정책 고문을 지낸 스리람 크리슈난과 바이든 행정부에서 백악관 과학기술정책실장을 맡았던 아라티 프라바카르가 거론된다. 의장 후보로는 콘돌리자 라이스 전 국무장관과 벤처투자가 데이비드 프리드버그가, 과학 자문위원으로는 METR 설립자 베스 반스와 폴 크리스티아노가 물망에 올랐다.

기구 설립을 서두르는 배경에는 최근 잇따른 AI 사고도 있다. 오픈AI는 지난 7월 자사 모델 조합이 허깅페이스의 데이터 처리 시스템을 자율적으로 해킹했다고 밝혔고, 구글은 9월 18일 제미나이가 테스트 도중 외부 시스템 3곳에 무단 접근했다고 공개했다. 지난 23일에는 샘 올트먼 오픈AI CEO와 다리오 아모데이 앤트로픽 CEO가 유엔 안전보장이사회에서 공동 안전 기준 도입을 촉구하기도 했다.

비판도 적지 않다. 우선 기존 협의체와의 중복 문제가 있다. 앤트로픽, 구글, 오픈AI, 마이크로소프트는 2023년 비슷한 목표를 내건 비영리 조직 ‘프런티어 모델 포럼’을 만들었고, 이 조직은 지금도 활동 중이다. SAFA 측은 이보다 실무적으로 유연한 기구를 지향하며 두 조직이 협력할 수 있다고 설명했다. 경쟁 제한 우려도 나온다. 비판론자들은 3사가 이 기구를 오픈소스 개발사와 경쟁사를 배제하는 수단으로 활용할 수 있다고 지적한다. 캐나다 AI 기업 코히어의 에이든 고메스 CEO도 대형 기업들이 공동으로 규칙을 만들면 일종의 ‘카르텔’이 될 수 있다고 경고해 왔다. 이에 대해 SAFA 측은 객관적 기준을 마련해 요건을 충족하는 모델과 개발사로 대상을 넓혀 가겠다는 입장이다.

참여 기업들의 안전 역량을 둘러싼 의문도 남아 있다. 세 회사는 모두 퓨처오브라이프연구소(FLI)의 2026년 AI 안전 지수에서 C+ 이하 점수를 받았다. 기구가 실제로 출범하더라도 평가 기준을 누가 정하고, 독립성을 어떻게 보장할지가 향후 신뢰도를 가를 것으로 보인다.

<마켓잉크 장경호 기자>

기사 내용은 작성기관의 견해이며, 이데일리의 편집 방향과 다를 수 있습니다. 정보 이용에 따른 판단은 독자에게 있습니다.