Llama 3.1 70B의 128K 추론은 KV 캐시만 40GiB입니다
장문 추론의 메모리 수요를 모델 크기가 아니라 KV 캐시 작업집합으로 계산했습니다. HBM·서버 D램·SSD가 각각 필요한 조건과 GQA·MLA가 수요를 줄이는 반대 방향까지 구분합니다.
Llama 태그가 붙은 분석 리포트를 최신순으로 모았습니다.
Llama 관련 M-INDEX 분석 리포트 1편을 최신순으로 모았습니다. 공개 원문을 대조한 근거와 관련 용어·종목 페이지로 이어집니다.장문 추론의 메모리 수요를 모델 크기가 아니라 KV 캐시 작업집합으로 계산했습니다. HBM·서버 D램·SSD가 각각 필요한 조건과 GQA·MLA가 수요를 줄이는 반대 방향까지 구분합니다.