엔비디아 독주 흔드나…오픈AI “자체칩, GB300 제쳤다”

[이데일리 신수정 기자] 오픈AI가 자체 개발한 인공지능(AI) 반도체 ‘잘라페뇨(Jalapeno)’가 공개 성능 시험에서 엔비디아의 GB300보다 전력 효율과 응답속도에서 앞섰다고 밝혔다. 오픈AI는 올해 말부터 잘라페뇨를 자사 AI 모델 운영에 투입할 계획이다. 엔비디아 의존도를 낮추고 급증하는 AI 인프라 비용을 줄이려는 자체 반도체 전략이 실제 제품 적용 단계로 들어가는 셈이다.

오픈AI (사진=로이터)

블룸버그에 따르면 리처드 호 오픈AI 반도체 책임자는 잘라페뇨가 공개 벤치마크에서 AI 작업의 전력당 처리량과 응답속도 등 두 부문에서 엔비디아 GB300보다 좋은 성능을 냈다고 밝혔다. GB300은 해당 시험에 사용된 공개 벤치마크 시스템에서 가장 성능이 높은 제품이었다.

다만 시험 결과를 엔비디아의 모든 최신 제품보다 우수하다는 의미로 보기는 어렵다. 잘라페뇨는 최근 출하를 시작한 엔비디아의 차세대 ‘베라 루빈(Vera Rubin)’ 칩과는 비교하지 않았다. AI 모델을 학습시키는 용도로 설계된 칩도 아니다. 잘라페뇨는 학습을 마친 AI 모델이 이용자 질문에 답하거나 작업을 수행하는 ‘추론’ 단계에 특화됐다.

오픈AI는 잘라페뇨를 브로드컴과 공동 개발했다. 양사는 지난해 협력 사실을 공개했으며 지난 6월에는 칩 개발 기간을 크게 단축했다고 밝혔다.

호 책임자는 잘라페뇨가 높은 처리량과 낮은 지연시간을 동시에 확보했다고 설명했다. 통상 AI 반도체는 대규모 작업 처리 능력과 빠른 응답속도 가운데 한쪽에 강점을 보이는 경우가 많지만 잘라페뇨는 두 영역 모두에서 경쟁력이 있다는 게 오픈AI 측 주장이다.

전력 사용량도 비용 절감의 핵심이다. 잘라페뇨는 700와트의 낮은 전압 조건에서 높은 성능을 냈다고 오픈AI는 밝혔다. 전력비가 데이터센터 운영비의 주요 부분을 차지하는 만큼 자체 칩 도입이 확대되면 AI 서비스 비용을 낮출 수 있다는 설명이다.

호 책임자는 블룸버그TV의 ‘블룸버그 테크’에서 “정말 좋은 칩이며 비용을 크게 낮출 수 있을 것”이라고 말했다. 다만 잘라페뇨 생산량을 충분히 늘리고 예상한 수준의 비용 절감 효과를 거둬야 자체 칩이 담당하는 AI 작업을 확대할 수 있다고 덧붙였다.

오픈AI는 소형 오픈소스 모델 한 종과 딥시크, 문샷AI의 외부 모델을 이용해 잘라페뇨를 공개 시험했다. 시험 대상 가운데 가장 큰 모델인 문샷AI의 ‘키미(Kimi)’에서는 성능 우위가 더 넓게 나타났다고 회사 측은 설명했다. 아직 공개하지 않은 오픈AI의 대형 모델을 이용한 내부 시험에서도 좋은 성능을 냈다고 밝혔다.

오픈AI는 모델 규모와 연산량이 커질수록 잘라페뇨의 설계상 장점이 더 커질 수 있다고 보고 있다. 현재 일부 모델에는 세레브라스 시스템스의 반도체 기술을 사용하고 있지만, 호 책임자는 잘라페뇨가 상대적으로 더 큰 모델까지 처리할 수 있다고 설명했다.

그렇다고 기존 반도체 공급사를 단기간에 대체할 계획은 아니다. 호 책임자는 “필요한 컴퓨팅 자원이 너무 많아 여러 공급사와 계약했다”며 이런 방식이 당분간 이어질 것이라고 말했다. 엔비디아에 대해서도 “아주 좋은 파트너이며 앞으로도 엔비디아 칩이 많이 필요하다”고 강조했다.

오픈AI는 이미 잘라페뇨 2세대 개발도 상당 부분 진행했다. 호 책임자는 향후 몇 달 안에 설계를 확정해 생산 단계로 넘기는 ‘테이프아웃’을 할 것으로 예상했다. 3세대 칩의 기본 설계도 시작했다.

오픈AI가 자체 칩 개발에 속도를 내는 배경에는 AI 인프라 비용 부담이 있다. 회사는 전 세계에서 대규모 AI 인프라를 구축하고 있으며, 자체 반도체를 통해 전력 사용량과 연산 비용을 낮추는 것을 목표로 하고 있다. 호 책임자는 “인프라 비용을 낮출 수 있는 비용과 전력 수준에 도달했다”며 “이제 첫 단계”라고 말했다.