"The more you buy, the more you save. (더 많이 살수록, 더 많은 돈을 아끼게 됩니다.)"

엔비디아 최고경영자(CEO)인 젠슨 황이 자주 하는 이야깁니다. 스스로 ‘CEO 계산법’이라 부르는데요. 원래는 CPU(중앙처리장치)에 GPU(그래픽처리장치)를 붙여야 작업이 빨라진다는 원리를 설명하려는 말이지만, 여기엔 인공지능(AI) 시대의 경제학이 숨어 있습니다.

천문학적 비용이 드는 AI 데이터센터 운영에서 가장 중요한건 속도겠죠. 이 한 마디가 HBM 시장의 폭발적인 수요를 대변합니다. AI 모델이 거대해질수록 칩마다 탑재되는 HBM도 계속 불어나고 있거든요. 비싼 HBM을 사들여 연산속도를 높이면 전체 비용을 절감할 수 있으니까요. 실제로 글로벌 빅테크들이 엔비디아 GPU를 쓸어가면서 그 안에 들어가는 HBM 역시 동이 났습니다. 없어서 못 파는 귀한 몸이죠.

아무튼 HBM 시장이 왜 이렇게 커지는지 이해하기 위해서는 먼저 '메모리 장벽(Memory Wall)'이라는 근본적 개념부터 알아야 합니다. 프로세서 속도는 기하급수적으로 빨라지는 반면, 메모리가 데이터를 주는 속도는 그에 미치지 못해서 생기는 병목 현상인데요. 이 지점에서 HBM이 혁명적인 해결책으로 등장하죠.

HBM은 D램을 아파트처럼 쌓아 올리고, 실리콘 관통 전극(Through-Silicon Via, TSV)이라는 미세한 구멍을 통해 연결하는 고난도 기술을 사용합니다. 이 구조는 데이터가 이동하는 경로를 극적으로 단축시킬 뿐 아니라 데이터 전송 폭을 넓혀 기존 메모리와 수준이 다른 전송률을 구현한다고 하네요.

그래서 HBM 시장은 지금 수급이 빡빡한 상태입니다. 우선 AI 칩의 세대교체 속도가 너무 급격해요. 시장의 주력은 이미 HBM3E(5세대)로 넘어왔고요. 엔비디아 최신 AI 칩인 '블랙웰(Blackwell)' 아키텍처 기반 B100, B200은 이전 세대보다 훨씬 더 많은 HBM을 필요로 하거든요. 여기에 AMD와 구글, 아마존처럼 자체 AI칩을 개발하는 빅테크 수요까지 가세하고 있죠.

더욱이 HBM이라는 금맥을 쥔 기업은 사실상 세계에 3곳뿐입니다. SK하이닉스와 삼성전자, 그리고 마이크론이죠. 또 HBM은 생산 리드타임이 길어 일반 D램보다 1.5~2개월은 더 걸리고요. 업계에선 HBM3E의 안정적 수율을 60~70% 수준으로 추정하고 있다네요. 10개를 만들면 3~4개는 버려야 한다는 얘깁니다. 왜 HBM을 달라는대로 만들어주기 힘든지 아시겠죠.

실제로 2024년부터 2025년까지 HBM 시장은 전형적인 공급자 우위의 형태를 띠어 왔습니다. 지난해 HBM 물량은 연초부터 완판됐고 2025년 물량까지 선주문으로 묶여버렸거든요. 이런 수급 불균형은 HBM 사업자들에게 엄청난 수익성을 안겨주고 있습니다. HBM의 평균판매단가(ASP)가 일반 D램의 5배나 되니까요.

하지만 모든 사이클엔 정점이 있죠. 트렌드포스(TrendForce)에 따르면 올해 말 전세계 DR램 생산능력의 19% 남짓이 HBM에 투입된다고 하네요. 제조사들도 공격적으로 생산 능력을 늘리는 중이고요. 언젠가 공급과잉이 될 가능성을 무시할 순 없다는 거예요.

시장의 판도 역시 달라지는 중인데요. 마이크론은 2024년 HBM 시장 점유율이 5% 수준이었지만 올해 말엔 20~25%까지 도달할 것으로 자신하고 있어요. 초기 SK하이닉스 독주하던 HBM 시장이 점차 3사 경쟁체제로 재편되고 있다는 흐름을 의미하죠.

그리고 이제 곧 새로운 게임이 시작됩니다. 2026년이 되면 시장은 HBM4을 중심으로 이동할 테니까요. HBM4는 인터페이스가 1024비트에서 2048비트로 넓어지고, 베이스 다이가 로직 공정 기반으로 제작되는 등 완전히 다른 차원의 제품일거예요. 물론 그만큼 더 비싸겠죠.