REPORT 01MI355X와 MI350P — HBM이 절반이어도 용량 대비 대역폭은 같습니다
AMD MI355X는 HBM3E 288GB·8TB/s, MI350P는 144GB·4TB/s입니다. 용량과 대역폭이 같은 비율로 줄어 "용량을 한 번 다 읽는 시간"은 둘 다 36ms입니다. 가장 유력한 결론은 MI350P가 메모리 균형은 유지한 채 적재 가능한 모델 크기만 절반으로 줄인 제품이라는 것입니다.
TOPIC
AI 추론 분석 모음
AI 추론 태그가 붙은 분석 리포트를 최신순으로 모았습니다.
AI 추론 관련 M-INDEX 분석 리포트 6편을 최신순으로 모았습니다. 공개 원문을 대조한 근거와 관련 용어·종목 페이지로 이어집니다.6리포트
2026-10-10최근 발행
REPORTS
AI 추론 리포트 6편
REPORT 01
REPORT 02DeepSeek V4.1 Flash의 KV 캐시 890바이트 — HBM 수요가 줄어든다는 뜻일까
DeepSeek가 공개한 토큰당 KV 캐시 890바이트를 100만 토큰 문맥으로 환산하고, HBM·서버 DRAM·SSD 수요에 미치는 상반된 효과를 구분했습니다.
REPORT 03KV 캐시를 1/5로 줄인다는 TurboQuant, 어디까지 믿어야 하나
16비트 KV 캐시를 3.5비트로 줄인다는 TurboQuant 결과를 실제 용량으로 환산하고, 후속 재현 연구가 제기한 반론과 HBM 수요 해석의 경계를 구분했습니다.
REPORT 04Kimi K3 2.8T MoE와 HBM — 공개된 추론 구조, 공개되지 않은 학습 장비
Kimi K3의 2.8T MoE, 16/896 전문가 활성화, 1M 컨텍스트는 공식 확인되지만 학습 GPU·수량·HBM 세대는 공개되지 않았다. 추론 메모리와 통신에 주는 의미만 분리해 본다.
REPORT 05마이크론 ‘추론 메모리 월’ 발언, HBM·D램·SSD 수요로 이어질 조건
마이크론 데이터센터 책임자의 ‘추론 메모리 월’ 발언을 출발점으로, HBM에서 서버 D램과 SSD까지 수요가 번지는 조건을 KV 캐시 계산과 실제 시스템 사례로 검증했습니다.
REPORT 06Llama 3.1 70B의 128K 추론은 KV 캐시만 40GiB입니다
장문 추론의 메모리 수요를 모델 크기가 아니라 KV 캐시 작업집합으로 계산했습니다. HBM·서버 D램·SSD가 각각 필요한 조건과 GQA·MLA가 수요를 줄이는 반대 방향까지 구분합니다.
다음 화면
스레드 @m.index.kr 에도 매일 씁니다.
이 글의 숫자는 공개 API 실측값이거나 회사가 직접 낸 발표문에서 가져온 것입니다. 지수와 점수는 제가 만든 계산의 결과이지 사실이 아니며, 계산식은 검증 페이지에 전부 공개돼 있습니다. 투자 자문이 아니고 매매 권유도 아닙니다.
이 글의 숫자는 공개 API 실측값이거나 회사가 직접 낸 발표문에서 가져온 것입니다. 지수와 점수는 제가 만든 계산의 결과이지 사실이 아니며, 계산식은 검증 페이지에 전부 공개돼 있습니다. 투자 자문이 아니고 매매 권유도 아닙니다.