GPU가 아니라 HBM이 판을 바꾼다…“성능의 상한은 결국 메모리”

[이데일리 김현아 기자] “AI 반도체 경쟁을 GPU 대 반GPU, 데이터센터 확장 경쟁으로만 보면 핵심을 놓칠 수 있습니다.”

김정호(66) KAIST 전기및전자공학부 교수는 인터뷰에서 “GPU든 TPU든 NPU든 성능은 결국 메모리가 결정한다”고 강조했다. 연산 코어가 아무리 빨라도 데이터를 제때 공급하지 못하면 병목이 생기고, 그 병목의 중심에 고대역폭 메모리(HBM)가 있다는 설명이다.

김정호 KAIST 전기 및 전자공학부 교수

김 교수가 그리는 방향은 ‘컴퓨팅의 메모리화’다. 지금은 GPU 브랜드와 연산 성능이 전면에 서 있지만, 시간이 갈수록 시장의 기준이 “어떤 GPU냐”에서 “어떤 HBM 조합으로 성능을 뽑느냐”로 옮겨갈 수 있다는 의미다. 그는 더 나아가 “HBM 안으로 GPU가 들어오게 돼 있다”고도 내다봤다. 패키지 구조가 바뀌며 연산 코어와 메모리가 더 강하게 결합하는 쪽으로 진화할 수 있다는 얘기다.

이 관점은 국산 신경망처리장치(NPU)전략과도 맞물린다. 김 교수는 리벨리온, 퓨리오사AI 같은 국내 NPU 기업이 “메인 시장을 뒤엎기”보다는 작은 모델 인퍼런스(추론)처럼 전력 효율이 중요한 영역부터 공략하는 게 현실적이라고 봤다.

다만 이 경우에도 메모리 병목은 피하기 어렵다고 했다. 그는 “추론용으로 NPU를 써도 메모리 성능이 떨어지면 NPU 성능이 안 나온다”고 설명하며 “퓨리오사AI는 HBM을 쓴다”고 언급했다. 리벨리온에 대해서도 초기에는 HBM을 쓰지 않겠다는 방향이 있었지만 “결국 HBM과 함께 하게 됐다”고 했다.

실제로 리벨리온의 차세대 제품 리벨쿼드(REBEL-Quad)는 칩렛 구조로 4개의 다이를 결합한 빅칩 형태로, HBM3E 기반 메모리 아키텍처를 적용해 대규모 인퍼런스와 고성능 AI 데이터센터 환경을 겨냥한다.

서울과 대전에 집을 두고 오가는 김정호 교수는 오전 7시에 연구실로 출근해 저녁 7시까지 일한다. 그는 “학생들을 통해 공부한다. 너무 재미있다”고 했다,

국산 NPU가 성장하려면 ‘첫 채택’과 ‘소프트웨어’라는 두 과제가 동시에 풀려야 한다는 지적도 내놨다. 김 교수는 “누가 처음 써줘야 한다”는 점을 강조하며, 모델을 실제로 구동하기 위한 소프트웨어 생태계 구축이 시간과 노력이 많이 드는 과제라고 했다. 그래서 초기에는 국가·공공 부문이나 국내 데이터센터가 레퍼런스를 만들어주는 방식이 필요하다는 취지다.

여기에 삼성전자의 온디바이스 AI 움직임도 겹친다. 삼성전자는 엑시노스 AP에 자체 설계 GPU를 단계적으로 적용하고, 2027년 이후 완전한 자립형 GPU를 탑재할 계획으로 전해졌다. 2025년 말 ‘엑시노스 2600’부터 자체 GPU(IP) 적용을 검토하기 시작했고, 2027년 출시 예정인 ‘엑시노스 2800’부터는 아키텍처까지 독자 설계한 GPU를 적용한다는 내용도 함께 거론된다.

모바일·온디바이스 AI 경쟁력 강화를 목표로 한 이 흐름은, 데이터센터뿐 아니라 스마트폰 중심의 온디바이스 AI 경쟁에서도 칩·메모리·전력 효율을 함께 최적화하는 역량이 핵심이 되고 있음을 보여준다.

김 교수가 강조한 두 번째 키워드는 ‘AI 팩토리’다. 그는 “데이터센터라는 말보다 AI 팩토리가 더 맞다”고 했다.

AI를 대량 생산하고 대량 소비하는 시설인 만큼, 경쟁의 본질이 칩 성능만이 아니라 반도체 간 연결(네트워크·인터커넥트), 전기 공급, 냉각이 동시에 맞물리는 ‘산업 설비 경쟁’으로 바뀐다는 설명이다. 연결은 통신과 인터커넥트가 담당하지만, 전기와 냉각은 설비의 물리적 한계가 곧 확장 속도를 결정한다.

김정호 KAIST 전기 및 전자공학부 교수

이 가운데 가장 큰 시간 리스크는 전기다. 김 교수는 발전소 건설에 3~5년이 걸린다는 점을 들며 “돈이 있어도 발전소를 짓는 시간이 가장 위험 요소”라고 말했다. AI 팩토리가 커질수록 해안이나 발전소 인근으로 입지가 이동할 수밖에 없고, 경쟁력의 관건은 결국 ‘에너지 믹싱’이 된다는 시각도 제시했다.

원자력과 LNG 같은 기저 전원을 중심에 두되, 태양광·풍력 등 재생에너지를 어떻게 조합하느냐가 비용·안정성·확장성을 함께 좌우한다는 것이다. 그는 “원자력 4, LNG 같은 화력발전소 4, 태양광 2, 풍력 2 정도의 비중이 될 것 같다”고도 했다.

결국 한국이 AI 3대 강국으로 가는 카드는 명확하다고 김 교수는 강조했다. “우리의 레버리지는 HBM”이라는 것이다. 삼성전자(005930)와 SK하이닉스(000660)가 가진 메모리 경쟁력은 AI 반도체 판의 중심축에 한국이 설 수 있는 근거다.

동시에 AI 팩토리 관점에서 보면, 전기·냉각·설비 역량까지 묶어 ‘칩 공급’을 넘어 ‘인프라 설계·구축’으로 확장하는 전략도 열린다. 국산 NPU는 작은 인퍼런스 시장부터 레퍼런스를 만들고, 그 위에 소프트웨어를 쌓아야 한다. 그리고 성능의 상한을 정하는 것은, 김 교수가 말했듯 “결국 메모리”다.

김정호 KAIST 전기및전자공학부 교수는

김정호(Joungho Kim) 교수는 HBM과 3D 집적·패키징, 신호·전원 무결성(SI/PI) 등 반도체 시스템 설계 분야를 연구한다. ‘HBM의 아버지’로 불린다.

△서울대 전기공학 학사·석사 △미국 미시간대 전기공학 박사 △미국 피코메트릭스(Picometrix) 연구 엔지니어 △삼성전자 메모리사업부 DRAM 설계팀 수석연구원 △KAIST 전기및전자공학과 교수(현) △미국 실리콘 이미지(현 애널로그 디바이스) 연구 엔지니어 △IEEE 펠로우 △KAIST ICT 석좌교수 △KAIST AI대학원 겸임교수△KAIST 글로벌전략연구소(GSI) 소장(현)