AttSVD

AttSVD는 autoregressive transformer의 KV 캐시를 줄이기 위한 저랭크 압축 연구다. 토큰을 제거하는 대신 모든 토큰을 유지하고 특징(feature) 축을 압축한다는 것이 저자들의 설명이다.

원문과 방법

arXiv 원문 v1의 제목은 *AttSVD:Prompt-Adaptive Low-Rank KV Cache Compression via Attention-Guided SVD*다. 저자는 Sara Abdali, Jongwoo Ko, Pashmina Cameron이다. v1 제출일은 2026-10-03 00:33:53 UTC, 원문 검증일은 2026-10-12다. 제출일을 검증일로 바꾸지 않는다.

초록에 따르면 프롬프트별 attention geometry에서 truncated SVD 기저를 만들고 유지하는 rank에 비례해 지속적인 head별 KV 메모리를 줄인다. 생성 길이에 맞춘 accumulating·streaming 두 캐싱 전략과, 행렬별 energy rule 및 attention-aware basis를 제안한다.

성능 주장의 범위

저자들은 여러 모델, agentic benchmark와 전체 LongBench에서 dense cache와 비슷한 성능을 유지하면서 KV 캐시 메모리를 최대 50% 수준으로 사용한다고 보고한다. 이는 초록에 명시된 저자 주장이다. 전체 GPU 메모리가 절반으로 줄거나 추론 처리량이 두 배가 된다는 뜻이 아니다.

이번 확인 범위는 arXiv 메타데이터와 초록이다. 모델별 rank·평가 설정·지연시간·압축 계산 비용·독립 재현은 확인하지 않았고, 동료심사를 거친 상용 검증 결과로 취급하지 않는다. 투자 관점에서 유력한 함의는 KV 캐시의 메모리 요구가 소프트웨어 압축 방식에도 영향을 받는다는 점이다. 이를 HBM 시장 규모 감소로 수치화하려면 실제 서비스의 동시 사용자 수, 컨텍스트 길이, 압축 비용과 채택률이 필요하다.