임의철 SK하이닉스(000660) 펠로우 부사장은 3일 서울대 38동 글로벌공학교육센터에서 열린 ‘SNU AI 반도체 포럼(SAISF)’에서 PIM 솔루션에 대해 이렇게 말했다. 임 부사장은 AI로 인한 전력 문제 등을 두고 “LLM(대규모언어모델)을 가동할 때 얼마나 효율성을 줄 수 있는지가 가장 큰 문제”라며 “SK하이닉스의 PIM인 AiMX는 저전력과 고성능을 모두 잡을 수 있는 아키텍처”라고 강조했다.
|
PIM의 장점은 △성능 개선 △에너지 절감 효과 등이다. 최근 딥러닝(인공신경망)으로 AI 열풍이 불었지만 서비스 비용이 너무 크다는 문제가 있다. 막대한 에너지 공급량을 충족시키기 위해선 원전이 필요한 정도이며 이에 따른 환경문제 등도 거론되고 있다. 생성형 AI를 가동하는 LLM이 메모리 성능에서 좌우되는 만큼 메모리 업계에선 고성능과 저전력을 한 번에 해결하는 기술에 대한 고민이 크다.
임 부사장은 고성능, 저전력을 모두 충족할 메모리로 PIM을 꼽았다. 그는 “SK하이닉스의 AiM을 쓰면 엔비디아의 H100 사용 대비 메모리당 성능이 13배 정도 높아진다”며 “그동안 킬러 애플리케이션이 없었기 때문에 현실화되지 않았는데 이제 PIM에 적합한 LLM이 나온 것”이라고 강조했다.
SK하이닉스는 자체 PIM 제품인 AiM을 여러 개 연결해 성능을 높인 가속기 카드 ‘AiMX(AiM based Accelerator)’를 보유하고 있다. AiMX는 AiM 반도체들 가운데 컨트롤 허브를 둔 제품이다. 임 부사장은 “AiM은 GEMV 기능을 처리하고, 컨트롤 허브는 나머지 필요한 부분을 처리하는 방식”이라고 설명했다. GEMV는 행렬과 벡터를 곱하는 함수로 LLM을 이루는 중요한 요소다. 가속기 카드가 두 기능을 한 번에 처리하며 일석이조 효과를 내는 것이다.
SK하이닉스는 별다른 수정 없이 새로운 아키텍처를 적용할 수 있도록 데이터센터향 AiMX을 설계해 고객사의 부담을 줄였다. 임 부사장은 “온디바이스는 기존에 있던 모바일 AP를 바꿔야 하는 문제가 있다”며 “그만큼 온디바이스에서 할 수 있는 솔루션이 몇 개 없다는 걸 알고 있기에 고객사와 보틀넥(장애물)을 헤쳐나가기 위해 논의를 진행하고 있다”고 설명했다.
이어 PIM의 상용화 시점에 대해 임 부사장은 기자와 만나 “오히려 CXL(컴퓨트 익스프레스 링크)이 아직 정해진 애플리케이션 없는 상황”이라며 CXL보다 PIM의 시장 전망을 긍정적으로 내다봤다.
