|
이날 ‘AIDC & AX Infrastructure’ 트랙 발표자로 나선 김준기 래블업 최고기술책임자(CTO)는 ‘추론·라우팅 최적화와 토큰 모니터링으로 완성하는 AI 팩토리’를 주제로 AI 서비스 운영의 비전을 제시했다.
김 CTO는 AI 서비스 운영 시 발생하는 대규모 추론 요청을 효율적으로 처리하기 위한 라우팅 최적화 기법과 실시간 토큰 사용량 모니터링 방안을 집중 조명했다.
AI 인프라의 가동 효율성을 극대화해 대규모 AI 서비스를 안정적으로 확장할 수 있는 AI 팩토리의 구체적 실현 방향을 공유해 참가자들의 호응을 얻었다.
래블업은 핵심 솔루션인 ‘백엔드닷에이아이(Backend.AI)’와 자체 기술인 ‘fGPU(Fractional GPU)’를 통해 GPU 활용률을 기존 30% 수준에서 85%까지 끌어올리는 인프라 최적화 기술력을 입증해왔다. 특정 하드웨어에 종속되지 않는 오픈소스 생태계를 기반으로 AI 인프라 효율화 영역을 학습에서 추론·서비스 단계로 확장하며 ‘AI 인프라계 안드로이드’ 구축에 박차를 가하고 있다.
래블업은 KT와의 기술 협력 생태계도 지속해서 강화하고 있다. 지난해 KT와 GPU 클라우드 서비스(GPUaaS) 공동 개발을 위한 업무협약을 체결한 이래, 기업들이 고성능 GPU 자원을 효율적으로 활용할 수 있는 인프라 구축에 손을 잡았다. 양사는 향후 AI 인프라 전반에서 협력 범위를 늘려갈 방침이다.
김준기 래블업 CTO는 “AI 인프라의 무게중심이 대규모 학습에서 추론과 실제 서비스 운영으로 빠르게 이동함에 따라, 다변화된 모델과 이용자 요청을 효율적으로 처리하는 역량이 핵심 과제로 떠올랐다”며 “이번 행사를 통해 축적된 AI 인프라 운영 및 추론 최적화 노하우를 공유한 만큼, 앞으로도 기업들의 효율적인 AI 서비스 구축과 확장을 적극 지원할 것”이라고 밝혔다.
