‘AI 비서’ 열풍 부는데…中 딥시크의 지적 “부적절한 행동 통제해야”

[베이징=이데일리 이명철 특파원] 미국 기업 메타가 내놓은 ‘뮤즈’로 인공지능(AI) 에이전트 열풍이 불고 있다. 중국의 대표 AI 기업인 딥시크는 AI 에이전트 대규모 훈련에 필요한 인프라 기술을 공개했다. 특히 AI 에이전트가 일으킬 수 있는 일명 ‘부적절한 행동’에 대해선 통제 장치를 마련해야 한단 의견을 제시했다.

(사진=게티이미지뱅크)

24일 중국 경제 매체 디이차이징 등에 따르면 딥시크는 최근 AI 에이전트 교육에 관한 새로운 논문을 발표했다. 해당 논문엔 딥시크 창업자인 량원펑을 비롯해 100명 이상이 이름을 올렸으며 AI 에이전스 훈련·평가에 사용하는 내부 샌드박스 플랫폼 ‘DSec’를 공개했다.

AI 에이전트란 AI가 단순히 대화하는 단계를 넘어 열차 예약이나 일정 관리 등 생활 전반을 관리하는 일종의 ‘AI 비서’를 의미한다. 메타가 개인용 AI 에이전트인 뮤즈를 공개해 인기를 끌고 있다.

대규모언어모델(LLM) 학습은 AI가 사고하는 법을 배우도록 하는 것이라면 에이전트 학습은 AI가 직접 행동하게 하는 게 특징이라고 논문은 정의했다. AI 에이전트가 학습하려면 코드 저장소 확인, 도구 호출, 명령어 실행은 물론 특정 작업에 필요한 서비스와 상호작용해야 하는데 이를 위해선 외부와 격리된 일종의 샌드박스가 필요하다.

딥시크가 제시한 DSec는 에이전트 학습·평가를 지원하는 컴퓨팅 플랫폼이다. 이곳에선 한 번에 최대 3만2000개의 샌드박스를 요청할 수 있다. 기본 시스템, 작업 공간, 도구 패키지를 각각 독립적으로 업데이트하도록 나누고 샌드박스를 생성할 떄 조합하도록 해 부하를 최소화했다.

논문에 따르면 샌드박스의 약 90%는 평균 중앙처리장치(CPU) 사용량이 할당받은 용량의 5%를 넘지 않았지만 이들이 수정한 파일이나 설치한 소프트웨어는 계속 보존해야 한다. DSec은 메모리를 공유하고 회수하는 방식을 통해 더 많은 샌드박스가 하나의 장비를 함께 사용할 수 있도록 하면서 응답 속도가 중요한 작업도 보호한다.

논문은 AI 에이전트가 예상하지 못한 경로를 통해 답을 얻는 부적절한 행동도 지적했다. 예를 들어 기존 경로가 아닌 플랫폼 관리 파일에 남아 있는 답안을 검색하는 방식이다. 학습 과정에서 정답이 들어 있는 파일을 우회적으로 찾아내거나 보호된 파일의 데이터를 다른 방식으로 접근하는 등의 행동이다. 이는 학습·평가 결과의 유효성은 물론 작업이나 공유 인프라의 안정성을 훼손할 수 있다.

딥시크는 모든 AI 에이전트의 부적절한 행동과 시스템 장애를 방지할 수 있는 단일한 메커니즘은 없다고 판단했다. 이에 따라 새로운 문제를 식별할 수 있도록 관측 가능성을 강화하고 모델 발전에 맞춰 DSec을 지속 보완하는 방식을 취하고 있다. 여기에는 에이전트가 예상하지 못한 경로를 통해 답을 얻는 것을 제한하는 접근 제어와 기만적인 행동에 대한 보상을 줄이는 방식 등이 포함된다. 이러한 통제 장치로 일부 문제를 해결할 수 있다는 설명이다.

한편 중국 매체들은 최근 AI 기술이 빠르게 발전하는 가운데 딥시크가 조직 규모와 자본 조달을 확대하는 모습도 조명했다.

최근 보도에 따르면 힐하우스벤처스의 파트너였던 옌원타오 공식적으로 딥시크에 합류해 최고재무책임자(CFO)를 맡았다. 디이차이징은 이번 영입이 딥시크의 상하이증권거래소 커촹반(과학기술수 전용 시장) 기업공개(IPO)를 준비하는 시점에 이뤄졌다면서 주목했다.

현지 매체 보도에서 중신증권은 딥시크측과 접촉해 실사를 진행하는 단계에 들어갔으나 양측은 아직 공식적인 상장 지도 계약을 체결하지 않았다.

딥시크는 지금까지 투자 유치에 나서지 않았지만 올해부터는 외부 자본에 문을 열기 시작했다. 4월 첫 번째 자금 조달을 시작했고 7월에는 2차 자금 조달에 착수했다는 소식이 전해다. 투자 전 기업가치는 약 5000억위안(약 102조원)까지 상승한 것으로 알려졌다.