AMD는 6일(현지시간) 탈라스 인수를 위한 최종 계약을 체결했다고 밝혔다. 인수 금액은 공개하지 않았다. AMD는 탈라스 기술을 자사 데이터센터용 AI 제품 로드맵에 반영해 서버 시스템에 적용할 계획이다.
이번 인수는 단순히 AI 스타트업 하나를 확보한 것이 아니라 ‘HBM 중심 AI 반도체’의 한계를 보완할 새로운 아키텍처를 확보했다는 점에서 의미가 있다.
|
탈라스는 이 같은 구조를 근본적으로 바꿨다. AI 모델의 가중치를 외부 HBM이 아니라 칩 내부의 읽기전용메모리(Mask ROM)에 직접 새겨 넣는 ‘하드코딩(Hard-coded)’ 방식을 채택했다. 모델 가중치를 반도체에 고정하는 구조여서 추론 과정에서 이를 HBM에서 반복적으로 읽어오는 과정이 필요 없다. 대신 실행 과정에서 필요한 데이터만 칩 내부의 정적 램(SRAM)에서 처리한다.
이 덕분에 고가의 HBM과 복잡한 패키징(CoWoS 등) 없이도 AI 추론을 수행할 수 있다. 외부 메모리와 데이터를 주고받는 과정이 크게 줄어 메모리 병목 현상을 해소할 수 있고, 전력 소비와 제조 비용도 낮출 수 있다.
|
탈라스는 이 같은 기술력을 인정받아 2023년 설립 이후 지금까지 총 2억 1900만달러(약 3100억원)의 투자를 유치했다. 물론 하드코딩 방식이 만능은 아니다. 탈라스의 AI 칩은 모든 모델에 사용할 순 없고 특정 AI 모델 하나만 실행하도록 맞춤 설계된다. 특정 AI 모델에 맞춰 제작되는 만큼 새로운 모델이 등장하면 칩을 다시 설계해야는 부담이 있다.
고효율 AI 추론 칩 개발 경쟁은 이미 본격화됐다. 이들의 공통점은 HBM 의존도를 낮춘 기술을 채택했다는 점이다. 미국 스타트업 에치드(Etched)는 트랜스포머 모델 전용 하드코딩 추론칩 ‘소후’를 개발하고 있으며, 디-매트릭스(d-Matrix)는 메모리 내부에서 연산을 수행하는 디지털 컴퓨팅인메모리(CIM) 기술을 적용해 데이터 이동을 줄이는 아키텍처를 개발하고 있다. 언테더 AI(Untether AI)와 악셀레라 AI(Axelera AI) 역시 칩 안(On-chip)에 있는 소용량 메모리인 SRAM 기반 연산 구조를 채택해 HBM 등 외부 메모리 의존도를 낮춘 추론칩을 개발하고 있다. 업계의 관심이 단순히 연산 성능 경쟁을 넘어 메모리 병목과 전력 소비를 얼마나 줄일 수 있는지로 확대되고 있는 셈이다.
하지만, 범용 GPU가 AI 학습과 다양한 모델을 지원하는 클라우드 환경에서는 주류를 유지할 것이란 전망이 지배적이다.
시장조사업체 트렌드포스는 최근 보고서에서 AI 컴퓨팅 시장이 ‘범용 컴퓨팅’과 ‘특화 컴퓨팅’의 투 트랙으로 발전할 것으로 전망했다. 클라우드 시장은 여전히 범용 플랫폼을 중심으로 움직이고 있어 고객들은 모델 업그레이드에 따라 계속 진화할 수 있는 유연한 솔루션을 선호할 가능성이 높다고 봤다. 반면 모델 변경이 잦지 않은 AI 추론 환경에서는 효율성과 비용이 중요한 영역을 중심으로 다양한 특화 컴퓨팅 방식이 독자적인 시장을 형성할 수 있다고 예상했다.
리사 수 AMD 최고경영자(CEO)도 지난달 제품 공개 행사에서 “모든 용도에 맞는 단 하나의 칩은 존재하지 않는다”며 추론칩 시장의 확대를 기대했다. 그러면서도 그는 “GPU는 새롭게 개발되는 다양한 AI 모델을 유연하게 지원할 수 있기 때문에 앞으로도 AI 칩 시장의 대부분을 차지할 것”이라고 예상했다.
