세계적 한국의 HBM HBS 반도체 기술(메모리 패권, GPU 한계, HBS 미래)
엔비디아 GPU가 100만 대 설치되어 있어도 실제 가동률은 10%에 불과하다는 말을 처음 들었을 때 왜 그렇게 비효율적이지 하는 물음이 듭니다. 우리가 가진 상식으로는 "연산 칩이 많을수록 AI가 빠르다"였는데, 실상은 메모리에서 데이터가 제때 오지 않아 GPU가 대기 상태로 있는 시간이 훨씬 더 길다는 겁니다. 이 사실 하나가 AI 반도체 산업의 판도를 근본적으로 바꾸고 있습니다.
메모리 패권: AI 성능을 결정하는 건 GPU가 아니었다
일반적으로 AI 성능은 GPU 스펙이 결정한다고 알려져 있지만, 관련 자료들을 파고들수록 그 판단이 흔들렸습니다. 핵심 HBM(High Bandwidth Memory)입니다. 여기서 HBM이란 D램을 수직으로 여러 층 쌓아 올린 뒤 TSV(Through Silicon Via, 실리콘 관통 전극)로 연결해 데이터를 병렬로 주고받는 구조입니다. 쉽게 말해 기존 1차선 국도를 2,048차선 고속도로로 바꾼 셈입니다.
이 구조가 왜 중요하냐면, AI가 챗GPT처럼 토큰을 생성할 때마다 메모리에서 데이터를 읽고 써야 하는데, 그 읽고 쓰는 시간이 전체 연산 시간의 대부분을 차지하기 때문입니다. GPU가 아무리 뛰어나도 데이터 공급이 병목이면 그냥 대기 상태로 놀게 됩니다. 이 구조를 이해하고 나서야 "AI = 메모리"라는 주장이 단순한 마케팅이 아니라는 걸 납득할 수 있습니다.
HBM의 세대별 발전 흐름을 정리하면 다음과 같습니다.
- HBM1~2: 2010년대 초반, 주로 그래픽 카드·TV 화질 처리 용도로 시작
- HBM3: 2020년대 초반부터 AI 데이터 센터 핵심 부품으로 본격 양산
- HBM4: 2025년 현재 출시, 로직 다이에 GPU 일부 기능 내장 시작
- HBM5~8: 30년 로드맵 제시, 궁극적으로 CPU·GPU 기능 통합 목표
여기서 흥미로운 지점은 HBM 안에 GPU 기능을 흡수하려는 '메모리 센트릭 컴퓨팅' 개념입니다. 메모리 센트릭 컴퓨팅이란 연산의 주도권을 GPU에서 메모리 쪽으로 가져오는 아키텍처 전환을 의미합니다. 데이터가 있는 곳에서 계산까지 처리하니 왕복 이동 시간 자체가 사라지는 구조입니다. HBM4가 이 방향으로 이미 가고 있다는 점에서, 지금 엔비디아의 지위가 영원하다고 보는 시각에 저는 회의적입니다.
한편 D램 기반인 HBM만으로는 폭증하는 용량 수요를 감당하기 어렵습니다. 에이전틱 AI(Agentic AI)가 확산되면, 즉 AI가 사람 대신 24시간 여러 업무를 자율적으로 처리하는 시대가 오면 메모리 수요가 지금의 1,000배 수준까지 커질 수 있다는 전망도 있습니다
그래서 낸드플래시를 수직으로 쌓은 HBF(High Bandwidth Flash)가 HBM의 보완재로 등장했고, 두 가지를 동시에 제조할 수 있는 기업은 현재 삼성전자와 SK하이닉스밖에 없습니다. 이 사실 하나가 한국 반도체 산업의 가장 강력한 해자(moat)라고 할 수 있습니다.
GPU 한계와 HBS 미래: 3D 반도체 시대가 온다
GPU의 성능을 높이는 방법은 사실상 칩 면적을 넓혀 연산기를 더 많이 집어넣는 것뿐입니다. 실제로 미국 세레브라스(Cerebras)는 12인치 웨이퍼 전체를 단일 칩으로 만드는 극단적 방식을 택했습니다. 이 소식을 처음 접했을 때 사람들은 "저걸 어디다 쓰려고?"라는 반응이 먼저 나왔습니다. 최근 나스닥 IPO까지 성공한 걸 보고 나서야 틈새 수요가 분명히 있다는 것을 인정했지만, 핵심 약점은 여전합니다. 세레브라스 칩의 S램 용량은 웨이퍼 전체를 써도 44GB에 불과한데, 실질적인 LLM 추론에는 최소 440GB 이상이 필요합니다.
여기서 S램(Static RAM)이란 전원이 공급되는 동안 데이터를 유지하는 초고속 메모리로, D램보다 약 1,000배 빠르지만 집적 효율이 낮아 용량을 키우기 어렵습니다. 이 구조적 한계를 돌파하기 위해 제안된 개념이 바로 HBS(High Bandwidth SRAM)입니다. HBS는 웨이퍼 전체를 S램으로 채운 칩을 12~16층으로 수직 적층해 100GB 단위의 초고속 메모리 블록을 구성하는 방식입니다. 계산상으로는 100GB짜리 S램 칩을 16층 쌓으면 1,600GB의 처리 용량이 만들어집니다.
이 개념에서 가장 인상 깊 부분은 '냉각' 문제를 푸는 발상의 전환이었습니다. 현재 HBM4는 1층(로직 다이)에 GPU 기능을 넣다 보니 하부가 과열되는 온돌방 구조가 됩니다. 제안된 해법은 발열이 심한 기능 일부를 건물 옥상으로 올리고 거기에 냉각탑을 직접 붙이는 방식입니다. GPU를 메모리 적층 구조 맨 꼭대기에 올리고 위에서 바로 냉각시키는 것입니다. 이 개념이 실현되면 HBM, HBF, HBS가 수십 층짜리 복합 빌딩을 이루고 그 옥상에 GPU가 올라앉는 3D 반도체 구조가 완성됩니다.
다만 이 구조를 실제로 구현하는 데 가장 큰 걸림돌은 두 가지입니다. 하나는 수천 암페어에 달하는 전력을 3D 구조 내부로 안정적으로 공급하는 전력 공급망(PDN, Power Delivery Network) 설계이고, 다른 하나는 발생하는 열을 효과적으로 제거하는 냉각 기술입니다. 앞으로 10~30년 안에 이 두 기술을 먼저 해결하는 기업이 AI 반도체 패권을 가져갈 것이라는 전망이 타당하다고 봅니다.
중국의 CXMT(창신 반도체)가 HBM3 양산에 착수했다는 소식도 눈여겨봐야 합니다. 일반적으로 3~5년의 기술 격차가 있다고 알려져 있지만, 제 경험상 이런 격차는 투자와 인재 유출에 따라 예상보다 빠르게 좁혀질 수 있습니다. 그러나 커스텀 HBM(Custom HBM) 시대에는 상황이 다릅니다. 커스텀 HBM이란 구글, 엔비디아, AMD 등 각 기업의 요구에 맞게 설계부터 맞춤 제작하는 HBM으로, 착수 시점부터 물량 계약을 체결하는 구조입니다. 이 체계에서 중국 기업이 미국 빅테크의 공급망 안으로 들어오기는 현 국제 정세에서 단기간에 어렵다고 저는 판단합니다. 그러나 언제든지 미국과 중국의 화해 무드가 갑자기 조성된다면 우리의 갈 길은 더욱 험해 집니다.
자주 묻는 질문
Q. HBM이랑 일반 D램은 뭐가 다른 건가요?
A. 일반 D램은 단층 구조로 데이터를 순차적으로 주고받지만, HBM은 D램 칩을 수직으로 여러 층 쌓아 TSV로 연결해 수천 개의 데이터 통로를 동시에 운영합니다. 기존 메모리가 8차선 고속도로라면 HBM은 2,048차선입니다. AI 연산처럼 초대용량 데이터를 실시간으로 처리해야 할 때 이 차이가 성능 전체를 결정합니다.
Q. 삼성전자와 SK하이닉스가 메모리 반도체에서 유리한 이유가 뭔가요?
A. HBM(D램 기반)과 HBF(낸드플래시 기반)를 동시에 개발·양산할 수 있는 기업이 전 세계에서 이 두 곳뿐입니다. 샌디스크나 키옥시아는 낸드는 가능해도 HBM이 어렵고, 마이크론은 HBM을 하지만 규모 면에서 격차가 있습니다. AI가 고도화될수록 두 메모리를 함께 써야 하는 수요가 커지므로, 이 구조적 우위는 단기간에 사라지기 어렵습니다.
Q. HBS가 HBM보다 좋다면 왜 당장 쓰지 않나요?
A. S램은 속도는 D램보다 1,000배 빠르지만 같은 면적에 담을 수 있는 용량이 훨씬 적고 생산 단가도 높습니다. 현재는 웨이퍼 전체를 S램으로 채워도 용량이 부족한 수준이라 상용화 전 단계입니다. 수직 적층 기술과 전력 공급망 설계 문제가 해결되면 HBM5~6 세대부터 실제 제품에 적용되기 시작할 것으로 전망됩니다.
Q. 중국이 HBM3를 양산한다고 하는데 한국이 따라잡히는 거 아닌가요?
A. 중국이 HBM3 수준에 도달할 때쯤 한국은 이미 HBM5를 시장에 내놓을 가능성이 높습니다. 더 중요한 점은 커스텀 HBM 체계입니다. 구글·엔비디아 같은 빅테크가 설계 초기부터 특정 메모리 기업과 단독 계약을 맺는 구조에서 중국 기업이 끼어들기는 지금 국제 정세상 쉽지 않습니다. 다만 기술 격차는 투자와 인재 유출에 따라 언제든 좁혀질 수 있으므로 방심은 금물입니다.
결론
제가 이번에 HBM에서 HBS까지 흐름을 정리하면서 가장 크게 바뀐 생각은 이것입니다. AI 혁명의 진짜 인프라는 GPU가 아니라 메모리라는 것, 그리고 그 메모리 기술의 핵심을 한국이 쥐고 있다는 것입니다. 물론 경영 판단 실패, 인재 유출, 혹은 미중 관계 급변이라는 변수가 이 우위를 허물 수 있다는 점도 냉정하게 인식해야 합니다.
HBM, HBF, HBS가 수십 층으로 쌓이고 그 위에 GPU가 올라앉는 3D 반도체 구조가 완성되기까지는 10~30년이 걸릴 수도 있습니다. 하지만 방향은 이미 정해졌습니다. 전력 공급망 설계와 냉각 기술이 다음 10년의 승부처라는 점, 그리고 그 싸움에서 살아남는 기업이 AI 시대의 진짜 패권을 갖는다는 점을 기억해 두시면 좋겠습니다.
THE END..