X
AI 검색
AI

"AI 토큰 공장, 누가 운영하나"…래블업이 내놓은 해법

이 기사 AI가 핵심만 딱!
애니메이션 이미지
한광범 기자I 2026.11.17 16:11:34

Google 검색에서 이데일리 기사를 더 자주 볼 수 있습니다.

美 슈퍼컴퓨팅 2026서 AI 인프라 운영 전략 공개
AMD·인텔·엔비디아 등 9개 기업·기관 발표 참여

신정규 래블업 대표. (사진=래블업)
신정규 래블업 대표. (사진=래블업)
[이데일리 한광범 기자] AI 인프라 소프트웨어 기업 래블업이 인공지능(AI) 데이터센터를 단순한 GPU 집합이 아닌 ‘토큰 생산 공장’으로 운영하는 전략을 공개한다. 서로 다른 반도체를 통합하고 AI 모델의 요청 처리부터 비용까지 관리하는 기술이 핵심이다.

래블업은 17일(현지시간) 미국 시카고에서 개막하는 ‘슈퍼컴퓨팅 2026(SC26)’에 4년 연속 참가한다고 밝혔다. 19일까지 열리는 이번 행사에서 래블업은 ‘토큰 팩토리를 구축했다면, 누가 운영할 것인가’를 주제로 AI 인프라 운영 방안을 발표한다.

SC26은 고성능 컴퓨팅(HPC)과 AI, 네트워크, 스토리지 기술을 다루는 국제 전시회다. 래블업은 시카고 맥코믹 플레이스에 4630번 부스를 마련해 기술 발표 프로그램 ‘부스 토크’를 운영한다.

토큰 팩토리는 AI 데이터센터를 답변 생성에 쓰이는 데이터 단위인 ‘토큰’을 생산하는 공장으로 보는 개념이다. GPU를 얼마나 많이 확보했는지뿐 아니라 AI 서비스의 처리량과 비용을 어떻게 관리하는지가 중요하다는 의미다.

래블업은 AI 인프라 관리 플랫폼 ‘Backend. AI(백엔드닷에이아이)’를 통해 GPU와 국산 신경망처리장치(NPU) 등 서로 다른 AI 가속기를 통합 운영하는 방안을 소개한다. ‘Continuum Enterprise(컨티넘 엔터프라이즈)’로는 AI 모델에 들어오는 요청과 토큰 사용량, 운영 정책, 비용·과금을 한꺼번에 관리하는 기술을 선보인다.

기존 GPU 중심 인프라에 NPU 등 다양한 반도체가 도입되는 상황에서 특정 제조사 장비에 얽매이지 않는 운영 환경을 제시한다는 구상이다. 래블업은 이를 통해 장비별로 따로 관리하던 AI 연산 자원을 한곳에서 배분하고 활용률을 높이는 방안을 설명할 예정이다.

특히 외부 인터넷과 분리된 금융권 폐쇄망에서 대규모언어모델(LLM)을 운영하는 방법을 별도 발표 주제로 다룬다. 클라우드 이용이 제한되는 환경에서도 자체 AI 인프라를 활용하도록 지원하는 방식이다.

글로벌 반도체 3사·국산 NPU 3사 한자리에

래블업 부스에서는 AMD·인텔·엔비디아 등 글로벌 반도체 3사와 리벨리온·퓨리오사AI·하이퍼엑셀 등 국산 NPU 3사, 인프라 파트너 AMAX·VAST Data, 미국 서던캘리포니아대학교(USC)까지 9개 기업·기관이 발표한다.

인텔은 서로 다른 종류의 컴퓨팅 장비를 활용한 AI 에이전트 인프라 구축 방안을 공유한다. 리벨리온은 NPU 기반 대규모 AI 서비스 운영을, 퓨리오사AI는 자체 가속기 ‘RNGD’와 Backend.AI를 결합한 LLM 운영 및 전력 효율화 사례를 소개한다. 하이퍼엑셀은 토큰 처리 효율을 높이는 인프라 기술을 설명한다. AMD와 엔비디아도 기술 발표에 참여한다.

고객 사례로는 USC가 Backend.AI를 활용해 대학 연구자에게 AI 컴퓨팅 자원을 서비스하는 방법이 공개된다. 한국과학기술연구원(KIST) CJLab이 Backend.AI Cloud로 유전자 편집 기술 ‘Cas9’의 작동 원리를 연구한 사례도 소개한다. AMAX는 기업 내부 서버에 AI를 구축하는 방안을, VAST Data는 AI 추론 과정의 임시 데이터를 저장하는 ‘KV 캐시’ 최적화 방안을 발표한다.

래블업은 개인 PC에서 클라우드 연결 없이 AI 모델을 구동하는 ‘AI:GO’, 인프라 전체의 작동 상태를 살피는 ‘풀스택 관측성’ 기술도 선보인다. 기존 고성능 컴퓨팅 작업 관리 도구인 ‘Slurm’ 명령어를 Backend.AI 환경에서 활용하는 기능과 민감한 데이터·AI 모델을 격리된 보안 영역에서 보호하는 ‘Confidential AI’도 소개한다.

신정규 래블업 대표는 “AI 인프라가 다양한 반도체와 컴퓨팅 환경으로 확장되면서 이를 효율적으로 통합하고 운영하는 소프트웨어의 중요성이 커지고 있다”며 “다양한 AI 반도체 기술이 한자리에 모이는 이번 SC26을 통해 Backend.AI의 확장성과 통합 운영 전략을 알리고, 토큰 생산과 운영 효율을 중심으로 진화하는 AI 인프라 시장에 적극 대응해 나가겠다”고 밝혔다.

이 기사 AI가 핵심만 딱!
애니메이션 이미지

주요 뉴스

ⓒ종합 경제정보 미디어 이데일리 - 상업적 무단전재 & 재배포 금지