메모리 대역폭
메모리가 프로세서에 1초 동안 전달할 수 있는 데이터량. HBM의 스택당 수치와 GPU 전체 수치, NVLink 수치는 서로 다른 경계를 재므로 구분해야 한다.
memory bandwidth · GB/s · TB/s · 스택당 대역폭 · GPU 메모리 대역폭이 용어를 다룬 분석 — GPT-6 Astra의 10만 GPU가 바꾸는 AI 인프라 경쟁 외 3편 ↓
메모리 대역폭은 메모리와 프로세서 사이에서 1초 동안 옮길 수 있는 데이터의 양이다. 보통 GB/s 또는 TB/s로 쓴다. 용량이 "얼마나 담는가"라면 대역폭은 "얼마나 빨리 꺼내고 넣는가"다.
같은 TB/s라도 측정 경계가 다르면 더하거나 직접 비교할 수 없다.
| 표기 | 재는 구간 | 예시 |
|---|---|---|
| 스택당 대역폭 | HBM 스택 하나 ↔ GPU | JEDEC HBM4 최대 2 TB/s, Micron HBM4 2.8 TB/s 초과 |
| GPU 메모리 대역폭 | 한 GPU ↔ 그 GPU에 붙은 HBM 전체 | NVIDIA Rubin 최대 22 TB/s |
| GPU 간 대역폭 | GPU ↔ GPU | Rubin NVLink 6 최대 3.6 TB/s(양방향) |
| 랙 합산 대역폭 | 랙 안의 여러 GPU 또는 스위치 합 | NVL72 HBM4 합산 1,580 TB/s |
HBM4 2 TB/s는 이렇게 나온다
HBM4 표준은 인터페이스 폭 2,048비트, 핀당 최대 8 Gb/s를 정한다. 이론상 스택당 대역폭은 다음처럼 계산된다.
2,048 bit × 8 Gb/s ÷ 8 bit/byte = 2,048 GB/s ≈ 2 TB/s
여기서 2 TB/s는 HBM 스택 하나의 표준 상한이다. GPU 전체 수치가 아니다.
회사 제품은 표준보다 높은 핀 속도를 제시할 수 있다. Micron HBM4는 2,048비트에서 11 Gb/s를 넘어 스택당 2.8 TB/s를 초과한다고 밝힌다. 2,048 × 11 ÷ 8 = 2,816 GB/s이므로 회사가 제시한 수치와 계산이 맞는다. 삼성 HBM4의 최대 13 Gb/s도 같은 식으로 계산하면 3,328 GB/s, 약 3.3 TB/s다.
Rubin의 22 TB/s는 GPU 전체 수치다
NVIDIA는 Rubin GPU의 메모리를 최대 288GB HBM4, 대역폭을 최대 22 TB/s로 적는다. 이 수치는 GPU에 붙은 HBM 전체를 합친 값이다.
Micron의 36GB 12단 HBM4를 기준으로 용량만 맞춰 보면 288GB는 8스택과 일치하고, 2.8 TB/s × 8은 22.4 TB/s다. 숫자가 서로 맞는다는 검산은 되지만, NVIDIA가 그 표에서 공급사 구성이나 실제 스택 수를 공개한 것은 아니다. 따라서 8스택은 inference이고, Rubin의 288GB·22 TB/s는 NVIDIA가 밝힌 confirmed 수치다.
22 TB/s와 NVLink 3.6 TB/s도 다른 숫자다
Rubin GPU의 22 TB/s는 GPU가 자기 HBM을 읽고 쓰는 속도다. NVLink 6의 3.6 TB/s는 다른 GPU와 데이터를 주고받는 양방향 연결 속도다. 하나는 로컬 메모리, 다른 하나는 GPU 간 연결망이다.
LLM 추론에서 모델 가중치와 KV 캐시가 로컬 HBM에 있으면 메모리 대역폭이 중요하다. 전문가 병렬화처럼 GPU 사이에서 토큰과 중간 결과를 자주 교환하면 NVLink가 따로 병목이 된다. 둘을 같은 표의 TB/s라는 이유로 더하거나 큰 쪽이 시스템 전체 속도라고 판단하면 안 된다.
이론 대역폭이 실제 처리량은 아니다
표준과 제품 페이지의 대역폭은 최대 전송률이다. 실제 애플리케이션은 메모리 접근 패턴, 채널 활용률, 컨트롤러, 프로토콜 오버헤드, 전력과 온도 제한의 영향을 받는다.
베이스 다이 안의 D2D PHY는 HBM과 GPU의 고속 통신을 담당한다. 삼성은 이 구간을 베이스 다이의 주요 발열 지점 가운데 하나로 설명하고, HBM4E에서 전용 열 통로인 HPB를 검증 중이라고 밝혔다. 대역폭을 높이는 일이 베이스 다이의 로직·전력·방열 설계와 같이 움직이는 이유다.
학계에서도 경계는 비슷하게 나타난다. MICRO 2025의 Stratum 논문은 HBM 내부 TSV 면적이 무한히 늘 수 없어 베이스 다이와 DRAM 사이 내부 대역폭에 한계가 있다고 지적한다. IEEE JXCDC의 2025년 연구는 HBM과 로직을 3D 적층하는 가상 설계에서 높은 로직 전력과 HBM 열저항이 전력 공급·방열 문제를 만든다고 분석한다. 두 논문 모두 연구 설계이며 현재 판매 중인 Rubin이나 HBM4의 실측 성능을 증명하는 자료는 아니다.
숫자를 볼 때 확인할 네 가지
- 단위: Gb/s인지 GB/s인지 확인한다. 8배 차이가 난다.
- 경계: 스택 하나, GPU 하나, GPU 간 연결, 랙 전체 중 무엇인지 확인한다.
- 종류: 표준 상한, 회사 제품 사양, 이론 계산, 실제 측정치를 구분한다.
- 상태: NVIDIA Rubin 수치는 현재
preliminary이며 변경될 수 있다고 회사가 명시한다.
원문
- JEDEC JESD270-4 HBM4 공표 — 공표일 2025-04-16, 대상 HBM4 표준, 마지막 검증일 2026-08-31, 다음 검증일 JESD270-4 개정 시,
confirmed standard - Micron HBM4 제품 페이지 — 현재 제품 사양 페이지(발표 시각 미표기), 대상 HBM4 12단 36GB, 마지막 검증일 2026-08-31, 다음 검증일 제품 사양 변경 시,
confirmed company specification - NVIDIA Vera Rubin NVL72 사양 — 현재 사양 페이지(발표 시각 미표기), 대상 Rubin GPU·NVL72, 마지막 검증일 2026-08-31, 다음 검증일 정식 제품 사양 확정 시,
confirmed preliminary company specification - Samsung COMPUTEX 2026 HBM4E·HPB 설명 — 발표 2026-05, 대상 HBM4E·HPB 검증, 마지막 검증일 2026-08-31, 다음 검증일 HBM5 적용 발표 시,
confirmed company development disclosure - Stratum, MICRO 2025 — 출판일 2025-10-17, 대상 Mono3D DRAM·HBM 비교 연구, 마지막 검증일 2026-08-31, 다음 검증일 후속 실측 연구 공개 시,
peer-reviewed research - 3-D Stacked HBM and Compute Accelerators for LLM, IEEE JXCDC — 출판 2025, 대상 3D HBM·로직 설계 공간, 마지막 검증일 2026-08-31, 다음 검증일 상용 구현 또는 후속 실측 공개 시,
peer-reviewed research hypothesis
이 용어를 다룬 분석
관련 용어
지수 화면에서 이어서 보기
이 글의 숫자는 공개 API 실측값이거나 회사가 직접 낸 발표문에서 가져온 것입니다. 지수와 점수는 제가 만든 계산의 결과이지 사실이 아니며, 계산식은 검증 페이지에 전부 공개돼 있습니다. 투자 자문이 아니고 매매 권유도 아닙니다.