KV 캐시

KV 캐시(Key-Value cache) 는 AI 모델이 답을 한 글자씩 써 내려가는 동안 앞서 계산한 중간 결과를 저장해 두는 것이다.

왜 저장하나. 다음 글자를 만들 때마다 앞의 모든 글자를 처음부터 다시 계산하면 낭비가 크기 때문이다. 한 번 계산한 것을 들고 있으면 다음 글자는 훨씬 싸게 나온다.

대신 메모리를 먹는다. 대화가 길어질수록, 문서가 길수록, 동시에 붙은 사용자가 많을수록 KV 캐시가 커진다.

이게 왜 메모리 시장의 이야기인가

AI 학습은 "얼마나 빨리 계산하나"의 문제였다. 추론은 "얼마나 담아 두나"의 문제에 가깝다.

• 모델 가중치를 담아야 한다 — 크고, 고정돼 있고, 읽기만 한다
• KV 캐시를 담아야 한다 — 계속 자라고, 대부분 읽기만 한다

담을 곳이 HBM뿐이라면 용량을 늘리려고 가속기 수를 늘려야 하고, 그러면 전력과 비용이 따라 올라간다. 이 병목이 지금 메모리 업계가 새 계층을 만드는 이유다.

여기서 갈라져 나온 것들

HBF — 가중치와 KV 캐시가 읽기 중심이라는 성질을 정면으로 이용한다. 낸드의 약점은 주로 쓰기 쪽이니, 읽기만 하는 데이터를 낸드에 두면 손해가 작다. HBM 대비 8~16배 용량을 비슷한 원가로 노린다.

QLC — 마이크론이 QLC를 공식적으로 "read-centric needs"용으로 자리매김하는 이유가 같다.

CXL — CPU 소켓 밖으로 D램을 꺼내 용량 상한을 우회한다.

CPU 쪽 주 메모리의 대역폭을 높이는 MRDIMM도 이 계층과 연결되지만, KV 캐시 전용 장치가 아니라 서버 DDR5 모듈 규격이다.

셋 다 "빠르게"가 아니라 "많이, 싸게, 읽기 위주로" 를 겨냥한다. 지난 사이클이 속도 경쟁이었다면 지금은 계층 경쟁이다.

조심할 것

이 문서의 설명은 업계 발표가 공통으로 전제하는 구조를 정리한 것이고, KV 캐시 용량이 메모리 수요에서 차지하는 비중을 보여 주는 공식 수치는 확인하지 못했다. "KV 캐시 때문에 HBM 수요가 몇 % 늘었다" 같은 숫자를 보면 근거를 확인해야 한다.

SSD로 확장되는 KV-cache: 출하와 성능은 구분

Micron은 2026-09-30 실적 발표에서 7600 PCIe Gen 5와 9650 PCIe Gen 6 SSD가 KV-cache 용도로 주요 고객에게 출하되고 있다고 밝혔다. 이는 기업이 공개한 적용 용도와 출하 상태다. 고객 이름, 설치 대수, KV-cache 전용 매출, 모델별 토큰 처리량·지연시간·전력 측정치는 이 발표에 없다. 따라서 SSD가 HBM을 대체했다거나 모든 추론에서 성능이 개선됐다는 뜻으로 읽으면 안 된다.

장기 보관·재사용할 캐시를 저장 계층으로 옮기는 수요가 제품 출하 설명에 등장했다는 점이 의미 있다. 실제 경제성은 캐시 적중률, 읽기 지연, 이동 비용과 SSD 내구성을 함께 확인해야 한다. 2026-09-30의 과거 발표를 2026-10-10 재검증했다. Micron FY2026 실적 발표의 Product Highlights 기준.