“美규제가 창의적 발상으로”… 중국이 ‘AI夢’을 실현하는 방법

by방성훈 기자
2024.09.25 13:52:29

[이데일리 방성훈 기자] 미국이 인공지능(AI) 개발에 필요한 고성능 프로세서를 중국에 수출하지 못하도록 금지한 것이 오히려 중국 기업들의 창의성과 효율성을 키워주고 있다는 분석이 나왔다. 미국의 규제를 피해 생각하지도 못한 방법으로 세계 최고 수준의 성과를 내고 있어서다.

(사진= 픽사베이)

24일(현지시간) 이코노미스트 등에 따르면 중국 AI스타트업 딥시크(DeepSeek)가 이달초 선보인 ‘딥시크-v2.5’는 세계 최고 오픈소스 모델이라는 평가를 받고 있다. 외신들은 자칭 세계 최고라고 홍보하는 다른 기업들의 모델과 달리 딥시크-v2.5는 업계 전문가들에게도 높은 점수를 받고 있다고 전했다.

이코노미스트는 딥시크가 미국의 최첨단 반도체 수출 규제에도 글로벌 AI 업체들과 경쟁할 수 있다는 점에 주목했다. 메타의 대규모 오픈소스 언어 모델인 라마3(Llama 3)는 엔비디아의 H100 그래픽저장장치(GPU) 1만 6000개를 이용해 학습했다. 메타는 올해 말까지 60만개의 GPU를 추가 비축하겠다는 계획이다. 일론 머스크의 AI스타트업 xAI는 10만개의 H100 으로 구동되는 데이터 센터를 건설했다.

이처럼 AI 개발에는 엔비디아의 최신 GPU가 필수라는 인식이 퍼져 있다. 하지만 중국 기업들은 미국의 규제로 구매가 불가능하다. 이에 암시장에서 GPU를 사들이고 있다는 루머가 나오지만, 비용 부담이 크기 때문에 대다수 중국 기업들은 제한된 리소스를 극대화하는 데 초점을 맞추고 있다고 이코노미스트는 설명했다.

딥시크-v2.5의 경우 엔비디아의 GPU를 약 1만개 탑재하고 있지만 모두 ‘구형’ 모델이다. 미 경쟁업체들과 비교하면 수량도 매우 미미하다. 대신 서로 다른 문제에 가장 적합한 여러 네트워크를 혼합 구축해 GPU 부족을 보완했다. 이른바 ‘전문가 혼합’(mixture of experts) 접근 방식이다. 그 덕분에 새로운 정보를 처리할 때 필요한 매개변수(파라미터) 수를 대폭 줄였다.



일반적으로는 매개변수가 많을수록 AI 모델의 성능이 뛰어나다. 예를 들어 오픈AI의 챗GPT-4의 매개변수는 1조개 이상으로 알려졌다. 반면 딥시크-v2.5의 매개변수는 2360억개로 4분의 1 수준이다. 또한 이 모델은 새 데이터를 처리하기 전에 압축 과정을 거치기 때문에 대규모 정보도 효율적으로 처리할 수 있다고 이코노미스트는 부연했다.

중국 칭화대와 AI스타트업인 모델베스트(ModelBest)도 24억개와 12억개의 매개변수를 가진 오픈소스 모델 ‘미니 CPM’을 개발했다. 매개변수 수량이 매우 적지만, 언어와 관련된 작업에선 70억~130억개의 매개변수를 지닌 대규모언어모델(LLM)과 성능이 유사하다. 이 모델 역시 딥시크와 같은 전문가 혼합 및 정보 처리 전 압축 방식을 적용했다. 특히 미니 CPM은 매개변수가 적은 만큼 크기도 작아 개인 기기에도 탑재가 가능하다. 모델베스트는 지난달 모바일용 모델을 출시했다.

이러한 중국의 접근 방식은 AI 개발을 주도하는 서방 기업들에 많은 생각할 거리를 제공한다고 이코노미스트는 짚었다. 엔비디아의 GPU가 업그레이드 될 때마다 대량 구입하려면 천문학적 비용이 들기 때문이다.

중국 기업들을 따라 유사한 시도를 하는 미 기업들도 늘어나고 있다. 투게더.ai, 메타, 엔비디아 연구자들이 최근에 개발한 알고리즘인 ‘플래시어텐션-3’와 구글 딥마인드가 지난 7월 출시한 ‘제스트’가 대표 사례다. 마이크로포스트(MS) 연구진도 매개변수가 40억개인 ‘파이-3 미니’라는 소형 언어모델을 출시했다.

AI투자펀드 에어 스트리트 캐피털의 네이선 비내쉬는 “서구 기업들이 (비용 절감을 위해) 적은 리소스로 더 많은 것을 끌어내려 하지만, 중국 기업들은 그것이 선택 사항이 아니다. 하지만 이는 중국 기업에 반드시 나쁜 일이 아닐 수 있다”며 “부족함에서 나오는 사고방식은 명백하게 효율성 향상에 인센티브를 제공하고 있다”고 평가했다.