[HBM] 고대역폭 메모리(High Bandwidth Memory) 란?

HBM: 차세대 메모리 기술의 혁신

고대역폭 메모리(High Bandwidth Memory, HBM)는 고성능 컴퓨팅과 인공지능(AI) 애플리케이션을 위해 설계된 최신 메모리 기술이다. HBM은 전통적인 메모리 구조와는 달리 여러 메모리 칩을 수직으로 쌓아 올려 높은 데이터 전송 속도와 에너지 효율성을 제공한다.

 

HBM은 고성능 컴퓨팅과 AI 애플리케이션에 최적화된 메모리 솔루션으로, 높은 대역폭, 에너지 효율성, 공간 절약 등 다양한 장점을 제공힌다.

최근, 챗GPT의 등장으로 인해 생성형 AI가 주목받으면서, 빅테크 기업의 투자 증대로 인한 HBM 수요가 급격히 증가하고 있다.

---

HBM이란 무엇인가?

HBM은 대한민국의 SK하이닉스가 최초로 개발하고 양산하여 2013년에 발표한 적층형 메모리 규격이며, 기존의 DDR 메모리와 달리 여러 메모리 다이를 3D로 적층하여 TSV(Through-Silicon Via)를 통해 연결한 구조를 가진다. 이로 인해 대역폭이 크게 증가하고, 데이터 전송 지연 시간이 줄어들며, 에너지 효율성이 개선된다.

 

기존의 GDDR 계열 SGRAM을 대체하고 보다 고대역폭의 메모리 성능을 달성하기 위해 제안되었으며, 2013년에 반도체 표준협회인 JEDEC에 의해 채택되었다. 메모리 다이를 적층하여 실리콘을 관통하는 통로(TSV)를 통해 주 프로세서와 통신을 한다는 것으로, 이를 위해서 직접 인쇄 회로 기판 위에 올려지는 GDDR 계열 SGRAM과는 달리 인터포저라는 중간 단계를 필요로 한다.

GDDR의 경우 32개의 핀을 구리배선으로 연결하면 되므로 따로 미세공정이 필요 없었다. 그러나 HBM은 1024개나 되는 미세한 핀을 연결해야 하기 때문에 그대로 기판에 붙일 수 없다. 설령 그대로 붙인다고 하더라도 1024개나 되는 배선을 기판에 구현하여 GPU에 연결하는 것도 만만치 않은 일이라, 중간에 인터포저를 추가하여 여기에 GPU와 HBM을 가깝게 배치해서 연결하자는 아이디어가 나왔다. 2012년에 이종간 패키징이 가능한 TSMC CoWoS가 개발되고, 2014년에 AMD와 SK하이닉스가 협력하여 TSV(Through Silicon Via) HBM 제품 개발에 성공하면서, 이후 본격적으로 HBM을 활용한 제품이 나오게 되었다.

(출처: 나무위키)

---

HBM의 역사

 

한때 GDDR에 비해서 뚜렷하게 우세하지 못한 성능으로 인해 계륵 취급을 받은 적도 있었다. 초기 HBM 1세대가 개발되었을 때, 그래픽카드에 HBM 4개(4096bit)를 배치한 것과 GDDR 12개(384bit)를 배치한 것을 비교하면, 대역폭 및 용량 차이가 그리 크지 않은데 가격은 비쌌기 때문이다.

한편으로는 그래픽 메모리를 대용량으로 필요할 만한 게임도 없었고, 대학 또는 기업의 인공지능 랩에서나 쓰이는 정도라 일반 GDDR에 비해 수요가 적었다. 이런 이유로 2019년 삼성전자에서는 시장성이 없다고 판단하고 일시적으로 사업을 철수한 적도 있었다.

그러나 시간이 흘러 성능 개선이 이루어지면서, GDDR과 HBM간의 기술 격차가 점점 크게 벌어지는 상황이다. 특히 GDDR의 경우 단층에 따른 구조적 한계로 개선이 더딘 반면, HBM의 경우 메모리 다이만 잘 쌓으면 용량과 대역폭이 배로 증가하니 상대적으로 기술 발전이 빠른 편이다.

거기에 매개변수가 많아 메모리를 많이 쓸 수 밖에 없는 초거대 인공지능 분야에서 수요가 급증했는데, 이들을 제대로 활용하려면 사실상 HBM 사용이 강제된다. 용량도 중요하지만 많은 모델 데이터들을 빠른 시간내 처리하기 위해선 메모리 대역폭도 중요하기 때문이다.

 

※ GDDR(Graphic double data rate) 은 반도체 기판을 키운 방식으로 속도가 빨라진 만큼 넓은 기판 사용으로 효율성이 떨어진다. ▶ 이를 해결하기 위해 HBM이 등장 (HBM 칩은 기존 DRAM 보다 대역폭이 약 128배 넓어짐)

---

HBM vs GDDR

 

1. HBM (High Bandwidth Memory)

적층 구조: 여러 층의 DRAM 다이를 쌓아 올려 공간을 절약하고 용량을 증가시킨다.
고대역폭: 기존 GDDR보다 훨씬 높은 대역폭을 제공하여 빠른 데이터 전송이 가능하다.
저전력: HBM은 동일 용량의 GDDR 메모리보다 전력 소모가 적습니다.

 

2. GDDR (Graphics Double Data Rate)
GDDR은 그래픽 처리 장치(GPU)에 최적화된 메모리이다. 주로 그래픽 카드에 사용되며, 높은 데이터 전송 속도와 대역폭을 제공하는 것이 특징이다.

 

[GDDR의 주요 특징]

고속 데이터 전송: 높은 대역폭으로 그래픽 데이터를 빠르게 전송할 수 있다.
단일 칩 구조: HBM과 달리, 단일 메모리 칩 구조를 가지고 있어 제조가 상대적으로 간단하다.
비용 효율성: HBM에 비해 가격이 저렴하며, 성능 대비 비용 효율성이 뛰어나다.

 

◇주요 차이점
1. 구조: HBM은 적층형 구조로 다이를 쌓아올리는 반면, GDDR은 단일 칩 구조를 가진다.
2. 대역폭: HBM은 더 높은 대역폭을 제공하여 데이터 전송 속도가 빠르다.
3. 전력 소모: HBM은 저전력 소비가 특징이며, GDDR은 상대적으로 높은 전력을 소모한다.
4. 비용: HBM은 제조 공정이 복잡하여 비용이 높고, GDDR은 비용 효율성이 뛰어나다.

▶ HBM과 GDDR 모두 고성능 메모리 솔루션으로 각각의 장단점이 있다. HBM은 대역폭과 전력 효율성 면에서 뛰어나지만 비용이 높고, GDDR은 성능 대비 비용 효율성이 뛰어나지만 HBM만큼의 대역폭을 제공하지는 않는다. 

---

HBM의 장점

 

1. 짧은 레이턴시와 높은 메모리 대역폭
HBM은 층간 통신 채널이 1,024개로 구성되어 있어, GPU와 HBM 간 통신거리가 짧아 노이즈 간섭이 거의 없으며, 실성능에서 높은 대역폭을 유지할 수 있다.

 

2.작은 칩 면적과 컨트롤러 면적
PCB에서 차지하는 메모리 칩의 총 면적이 적고, 내장 메모리 컨트롤러도 기존 GDDR 대비 작다. 이로 인해 성능 밀도를 높이기 유리하다.

 

3. 낮은 전력 소모
HBM은 GDDR보다 와트당 전력 소모가 1/4 수준이다. 예를 들어, 24GB 용량 기준으로 HBM3는 최대 15W를 소모하는 반면, GDDR6X는 최대 60W를 소모한다.

 

4. 유리한 메모리 용량 확장성
HBM2부터 8층, HBM3부터는 12층까지 적층이 가능해져 메모리 용량 확장이 쉽다. TSV(Through-Silicon Via)와 NCF(Nanocopper Fill) 등 기술로 이를 구현한다.

 

5.쉬운 구현 난이도
HBM은 인터포저 위에 올리기만 하면 되므로 구현 난이도가 낮다. 이에 반해 HMC(Hybrid Memory Cube)는 구현이 매우 어려워 시장에서 미미하다.

 

---

HBM의 단점

 

1. 높은 제작 난이도와 낮은 수율
층간 본딩 과정에서 불량이 많아 최종 수율이 낮다. 2024년 기준으로 HBM 수율은 30-50% 수준이다.

 

2. 높은 완제품 구현 난이도
GDDR에 비해 HBM은 인터포저에 붙이는 공정이 추가로 필요하여 비용과 시간이 더 소요된다. 또한, 열로 인해 불량이 발생할 수 있다.

 

3. 비싼 가격
HBM의 가격은 1GB당 약 15달러로 매우 비싸며, 수요가 공급을 초과해 프리미엄 가격으로도 구하기 어렵다.

 

4. 복잡한 구조와 낮은 내구성
구조가 복잡해 내구성이 낮고, 고장 시 수리가 어렵다.

 

5. 낮은 메모리 클럭과 오버클럭 마진
대역폭은 넓지만 동작 속도가 낮고, 열 방출이 어려워 오버클럭 마진이 낮다.

---

최신 동향

최근 SK하이닉스는 차세대 6세대 HBM 기술을 조기 상용화하겠다고 발표했다. 이는 AI 메모리 분야에서의 경쟁력을 강화하기 위한 전략의 일환으로, AI 시대에 필수적인 DRAM과 NAND 기술을 선도하겠다는 목표를 가지고 있다.

 

현재 HBM 시장은 SK하이닉스와 삼성전자가 양분하고 있다. SK하이닉스가 4세대인 HBM3를 엔비디아에 독점적으로 공급하면서 시장을 선도하고, 삼성전자가 바짝 추격하는 구도이다. 삼성전자는 엔비디아의 경쟁사인 미국 반도체 업체 AMD에 HBM3를 납품할 예정이며, 상반기 중 HBM3E 양산에도 착수한다.

---

[출처: SK하이닉스, 조선일보]