2026년 5월 5일 마이크론의 코어 데이터센터 사업 책임자 제러미 워너는 The Circuit 인터뷰에서 메모리를 데이터센터 추론 병목을 푸는 전략 자산이라고 불렀습니다. 이어 GPU에 가까운 HBM부터 LPDDR·DDR5·SOCAMM, 고성능·고용량 SSD까지 자사 제품을 하나의 계층으로 설명했습니다. 마이크론은 세 층을 모두 파는 회사이므로 이 말은 기술 설명인 동시에 판매 논리입니다. 핵심은 “추론에는 셋 다 필요하다”가 아니라, 어떤 부하에서 HBM의 작업집합이 서버 D램과 SSD로 넘어가느냐입니다.
마이크론 발언의 빈칸은 ‘경계 조건’입니다
세 층의 역할은 속도 순서만으로 정해지지 않습니다. 데이터가 다시 쓰일 확률과 옮기는 비용이 경계를 만듭니다.
| 계층 | 맡는 데이터 | 수요가 붙는 조건 | 수요가 붙지 않는 조건 |
|---|---|---|---|
| HBM | 지금 연산하는 가중치와 가장 뜨거운 KV | 낮은 지연시간·높은 동시성이 필요할 때 | 모델·문맥이 작아 기존 용량에 들어갈 때 |
| 서버 D램 | 곧 다시 쓸 KV·공통 프리픽스 | 재사용 이익이 PCIe·인터커넥트 전송비보다 클 때 | 연결이 느리거나 캐시 적중률이 낮을 때 |
| eSSD | 차가운 KV·프리픽스·모델 캐시 | 재계산보다 저장·복원이 싸고 충분히 반복해서 읽을 때 | 짧은 일회성 질의나 토큰 단위 실시간 접근 |
즉 HBM은 연산의 핫 계층, 서버 D램은 재사용을 기다리는 웜 계층, SSD는 재계산을 피하기 위한 콜드 계층입니다. D램과 SSD가 HBM의 느린 대체품으로 자동 채택되는 것이 아니라, HBM에 계속 둘 가치가 낮지만 버리기에는 재계산 비용이 큰 데이터가 생길 때 채택됩니다.
Llama 70B 계산이 마이크론 주장을 시험합니다
이 경계를 숫자로 확인할 수 있는 대표 데이터가 KV 캐시입니다. KV 캐시는 이전 토큰의 중간 계산 결과라 대화가 길고 동시 요청이 많을수록 커집니다. 토큰당 크기는 대략 2 × 레이어 수 × KV 헤드 수 × 헤드 차원 × 바이트 수입니다.
Meta가 공개한 Llama 3.1 70B는 80개 레이어, 8개 KV 헤드, 헤드 차원 128을 씁니다. FP16이면 토큰당 320KiB이고, 최대 131,072토큰 문맥 한 건은 40GiB입니다. 같은 최대 문맥 요청 10건을 유지하면 KV 캐시만 약 400GiB입니다. 이것은 실제 평균이 아니라 공개 최대 사양으로 계산한 상한 사례지만, 마이크론이 말한 메모리 월이 어디서 생기는지는 보여줍니다. 긴 문맥과 동시성이 겹치면 모든 KV를 HBM에 붙잡아 두는 비용이 급격히 커집니다.
여기서 서버 D램 수요가 먼저 생깁니다. NVIDIA TensorRT-LLM은 재사용할 KV 블록을 호스트 메모리로 내보내는 기능을 제공하고, 문서 예시는 약 45GB의 고정 호스트 메모리를 잡습니다. 다만 같은 문서는 Grace Hopper처럼 CPU·GPU 연결 대역폭이 충분할 때와 구형 PCIe 구조를 구분합니다. GPU당 호스트 D램 용량만 늘었다고 수요가 확인되는 것이 아니라, 오프로딩률·캐시 적중률·전송 지연이 함께 개선돼야 합니다.
SSD는 한 단계 더 까다롭습니다. 마이크론은 자사 기술 블로그에서 DeepSpeed ZeRO-Inference의 NVMe KV 오프로딩을 예로 들며 고성능 SSD가 ‘느린 메모리’ 역할을 할 수 있다고 주장했습니다. 독립적인 시스템 사례인 Mooncake도 Kimi의 평균 입력 7,590토큰·출력 182토큰 부하에서 CPU·D램·SSD·RDMA를 분리형 KV 저장소로 묶었고, 서비스 수준 목표를 지키면서 처리 요청 수가 약 75% 늘었다고 보고했습니다. 긴 입력을 반복해서 참조하는 부하에서는 마이크론의 설명과 맞아떨어집니다.
반대로 FlexGen이 16GB GPU 한 장과 SSD 오프로딩으로 OPT-175B를 돌린 결과는 초당 약 1토큰이었습니다. SSD는 용량을 늘리지만 지연시간을 없애지 못합니다. 따라서 SSD 수요를 만드는 것은 단순한 추론 토큰 증가가 아니라 긴 컨텍스트의 보존·재사용, 높은 NVMe 읽기 대역폭, 허용 가능한 꼬리 지연시간입니다.
마이크론 논리가 틀릴 수 있는 세 가지 경우
첫째, 평균 문맥이 짧고 프리픽스 재사용률이 낮으면 캐시는 저장보다 폐기가 쌉니다. 둘째, DeepSeek-V2의 MLA처럼 토큰당 KV 바이트를 크게 줄이거나 GQA·PagedAttention이 조각화와 중복을 줄이면 같은 트래픽을 더 적은 메모리로 처리합니다. DeepSeek-V2는 이전 DeepSeek 67B 대비 KV 캐시를 93.3% 줄였다고 보고했습니다. 셋째, 인터커넥트와 SSD 지연이 재계산 비용보다 크면 데이터는 D램·SSD로 내려가지 않습니다.
그래서 마이크론의 발언을 업황으로 번역할 때는 추론 토큰 수보다 다음 숫자를 먼저 보겠습니다. 모델별 토큰당 KV 바이트, 평균 입력 문맥, GPU당 활성 시퀀스, 프리픽스 캐시 적중률, GPU당 호스트 D램, HBM→호스트 오프로딩률, GPU당 로컬 NVMe 용량과 읽기 IOPS입니다. 이 값들이 함께 오를 때에만 “추론이 HBM뿐 아니라 D램과 SSD 수요도 만든다”는 마이크론의 판매 논리가 실제 출하 논리로 바뀝니다.
출처
- The Circuit — 제러미 워너 인터뷰 전문
- Micron — AI needs all the fast data center storage we have
- Meta Llama 3.1 모델 사양
- NVIDIA TensorRT-LLM KV 캐시 재사용·오프로딩 문서
- Mooncake 논문
- FlexGen 논문
- DeepSeek-V2 논문
- vLLM PagedAttention 논문
이 리포트는 AI가 작성했고 발주자가 사후 검수합니다.
밑줄 친 말은 용어 위키로 이어집니다.