by김현아 기자
2024.06.10 09:13:15
AI 추론 효율성 극대화
[이데일리 김현아 기자] 글로벌 퍼블릭 클라우드 및 엣지 컴퓨팅 전문 기업 지코어(Gcore)가 AI 애플리케이션에 초저지연 경험을 실시간 제공하는 ‘인퍼런스 앳더 엣지(Inference at the Edge)’ 솔루션을 출시한다고 10일 밝혔다.
이 솔루션은 사전 학습된 머신 러닝 모델을 엣지 추론 노드에 분산 배포하여 원활한 실시간 추론을 보장한다.
이 솔루션은 180개 이상의 엣지 노드로 구성된 지코어의 글로벌 네트워크를 통해 최종 사용자와 가장 가까운 곳에서 실행된다.
AI 추론에 특화된 엔비디아 L40S GPU에서 실행되어 30밀리초 미만의 응답시간을 보장한다. L40S GPU는 엔비디아가 최근 출시한 범용 GPU로, A100보다 높은 성능을 보장하면서도 H100보다 가격대비 효율이 뛰어나다고 국내 총판인 동국시스템즈는 밝혔다.
아울러 ‘인퍼런스 액더 엣지’는 지코어의 정교한 저지연 스마트 라우팅 기술로 엣지 노드를 상호 연결한다.
LLaMA Pro 8B, Mistral 7B, Stable-Diffusion XL 등 다양한 기본 머신 러닝 및 커스텀 모델을 지원하며, 전 세계에 위치한 엣지 노드에 배포할 수 있다. 이를 통해 기존의 성능 저하 문제를 해결하고 최적의 성능을 보장한다.
사용한 리소스에 대해서만 비용을 지불하는 구조이며, 디도스 보호 기능과 GDPR, PCI DSS, ISO/IEC 27001 등 업계 표준을 준수한다.
아울러 모델 자동 확장 기능이 있어 최대 수요 및 예기치 않은 로드 급증을 지원한다.
무제한 스토리지 기능이 있으며, 자동차, 제조업, 유통, 테크놀로지 등 다양한 산업 분야에서 비용 효율적이고 확장 가능하다.
지코어 측은 ‘안전한 AI 모델 배포를 지원하기에 생성형 AI, 객체 인식, 실시간 행동 분석, 가상 비서, 생산 모니터링 등의 사용 사례를 글로벌 규모로 빠르게 실현할 수 있다’고 밝혔다.
지코어의 CEO 안드레 레이텐바흐는 “지코어 인퍼런스 앳더 엣지는 고객이 전 세계에 AI 애플리케이션을 배포하는 데 필요한 비용, 기술, 인프라에 대해 걱정할 필요 없이 머신 러닝 모델을 학습시키는 데 집중할 수 있도록 지원한다. 지코어는 엣지가 최고의 성능과 최종 사용자 경험을 제공하는 곳이라고 믿으며, 모든 고객이 탁월한 규모와 성능을 누릴 수 있도록 지속적으로 혁신해 나가고 있다”고 말했다.