KV 캐시

시장 지표 · KV 캐시 · KV cache · 키밸류 캐시 · 추론 메모리 마지막 확인 2026-08-04

KV 캐시(Key-Value cache) 는 AI 모델이 답을 한 글자씩 써 내려가는 동안 앞서 계산한 중간 결과를 저장해 두는 것이다.

왜 저장하나. 다음 글자를 만들 때마다 앞의 모든 글자를 처음부터 다시 계산하면 낭비가 크기 때문이다. 한 번 계산한 것을 들고 있으면 다음 글자는 훨씬 싸게 나온다.

대신 메모리를 먹는다. 대화가 길어질수록, 문서가 길수록, 동시에 붙은 사용자가 많을수록 KV 캐시가 커진다.

이게 왜 메모리 시장의 이야기인가

AI 학습은 "얼마나 빨리 계산하나"의 문제였다. 추론은 "얼마나 담아 두나"의 문제에 가깝다.

• 모델 가중치를 담아야 한다 — 크고, 고정돼 있고, 읽기만 한다
• KV 캐시를 담아야 한다 — 계속 자라고, 대부분 읽기만 한다

담을 곳이 HBM뿐이라면 용량을 늘리려고 가속기 수를 늘려야 하고, 그러면 전력과 비용이 따라 올라간다. 이 병목이 지금 메모리 업계가 새 계층을 만드는 이유다.

여기서 갈라져 나온 것들

HBF — 가중치와 KV 캐시가 읽기 중심이라는 성질을 정면으로 이용한다. 낸드의 약점은 주로 쓰기 쪽이니, 읽기만 하는 데이터를 낸드에 두면 손해가 작다. HBM 대비 8~16배 용량을 비슷한 원가로 노린다.

QLC — 마이크론이 QLC를 공식적으로 "read-centric needs"용으로 자리매김하는 이유가 같다.

CXL — CPU 소켓 밖으로 D램을 꺼내 용량 상한을 우회한다.

셋 다 "빠르게"가 아니라 "많이, 싸게, 읽기 위주로" 를 겨냥한다. 지난 사이클이 속도 경쟁이었다면 지금은 계층 경쟁이다.

조심할 것

이 문서의 설명은 업계 발표가 공통으로 전제하는 구조를 정리한 것이고, KV 캐시 용량이 메모리 수요에서 차지하는 비중을 보여 주는 공식 수치는 확인하지 못했다. "KV 캐시 때문에 HBM 수요가 몇 % 늘었다" 같은 숫자를 보면 근거를 확인해야 한다.

관련 용어

지수 화면에서 이어서 보기