달러당 토큰

달러당 토큰(tokens per dollar)은 정해진 비용 범위에서 1달러로 처리하는 토큰 수다. 값이 높으면 그 조건에서 비용 효율이 좋다는 뜻이다. 입력과 출력 중 무엇을 세는지, 모델과 정확도, 문맥 길이, 지연시간, 동시 요청 수를 고정하지 않으면 두 수치를 바로 비교할 수 없다.

계산에서 단위를 맞추기

처리량이 초당 토큰이고 가격이 시간당 달러라면 달러당 토큰 = 초당 토큰 × 3,600 ÷ 시간당 달러다. 같은 장비 범위와 가동 조건을 사용한다는 전제다. 설명용 가정으로 초당 100토큰, 시간당 2달러라면 180,000토큰/달러다. 이 숫자는 제품 실측이 아니다. 출력 토큰 처리량이면 결과도 출력 토큰 기준이고, 입력 처리량을 임의로 더하지 않는다. 실제 결제는 유휴 시간과 최소 과금 단위에 따라 달라질 수 있다.

AMD 비교의 각주를 읽는 법

AMD의 2026년 7월 23일 발표 각주 1(MI400-025)은 AMD Helios와 NVIDIA Vera Rubin NVL72를 Kimi K2 Thinking, 32K 입력·8K 출력 조건으로 비교한다. 낮음·중간·높음 인터랙티비티에서 추정한 합산 처리량과 시장 조건을 바탕으로 예상한 시스템 GPU 시간당 가격을 사용한다. 제조사별 시스템 구성에 따라 결과가 달라질 수 있다고 명시한다. AMD 공식 발표와 각주 1

이 비교는 제조사의 추정이다. 독립 기관이 판매 시스템의 전력과 실제 요금을 측정해 재현한 결과가 아니다. 같은 발표의 다른 모델·제품 실험을 각주 1의 실측 근거로 옮겨 쓰지 않는다. 발표는 배경 자료이며 편집 갱신일을 발표일로 바꾸지 않는다. 가격의 예상과 처리량의 예상을 나눠 확인해야 계산 결과의 불확실성을 이해할 수 있다.

GPU 가격에서 전체 비용으로 이어지는 관계

관계는 GPU 처리량·가격 → 서비스의 유효 처리량 → 전체 제공 비용 → 성공 업무당 비용 → 마진이다. 실제 TCO(총소유비용)에는 CPU, 메모리, 네트워크, 전력, 냉각, 운영 인력, 소프트웨어와 유휴 자원 비용 등이 들어간다. 어떤 항목이 임대 요금에 포함돼 있는지부터 확인하며 중복 합산하지 않는다. 장비 구매형과 임대형도 같은 비용 경계로 맞춘다.

기업용 에이전트는 한 업무에서 여러 번 모델을 호출할 수 있다. 토큰이 저렴해져도 재시도와 검수 시간이 늘면 업무당 비용은 오를 수 있다. 긴 문맥은 KV 캐시 부담을 높일 수 있지만 캐시 재사용과 동시 요청의 조건에 따라 실제 메모리 요구량이 달라진다.

추정·반증과 다음 확인 숫자

가장 유력한 해석은 달러당 토큰이 조건을 고정한 추론 경제성의 중간 지표라는 것이다. 구매나 서비스 마진 판단에는 동일 품질과 지연시간 SLO를 만족하는 유효 처리량, 실제 과금, 가동률을 추가해야 한다. 제조사 추정에서 앞선 시스템이 실제 업무에서도 우세하다는 결론은 아직 이 자료로 도출하지 않는다.

반증은 같은 모델·정밀도·32K/8K 조건을 독립 재현했을 때 우위가 사라지거나, 지연시간 상한을 맞추면 유효 처리량이 줄어 비용 순위가 바뀌는 경우다. 다음에 볼 숫자는 요청 첫 토큰 지연, 토큰 간 지연, 성공률, 실제 시간당 요금, 가동률, 시스템 전력, 성공 업무당 전체 비용이다. 메모리 공급자의 실적 함의는 토큰 효율 자체보다 출하 대수와 시스템당 메모리 용량, 실현 판매가격을 확인한 뒤 판단한다.