Speculative Decoding

• Speculative Decoding은 작은 Draft 모델이 여러 토큰을 미리 예측하고, 큰 Target 모델이 한 번의 Forward Pass로 검증하는 추론 가속 기법
• 출력 품질 저하 없이 다수 토큰을 동시 생성하여 지연 시간을 줄이는 병렬화 전략
• 기존 순차 디코딩 대비 최대 3배 속도 향상을 달성하는 무손실(lossless) 최적화 방식

해당 개념이 필요한 이유

• LLM 추론은 memory-bound — GPU 연산 능력은 남지만 메모리 대역폭이 병목
• 기존 autoregressive 디코딩은 토큰 1개당 Forward Pass 1회 필요 → 순차적이라 느림
• 쉬운 토큰(“the”, “is” 등)도 거대 모델이 매번 처리하는 것은 비효율

AS-IS (기존 Autoregressive Decoding)

sequenceDiagram
    autonumber
    participant LLM as Target 모델 (70B)
    participant Out as 출력

    LLM->>Out: Forward Pass 1 → "오늘"
    LLM->>Out: Forward Pass 2 → "날씨"
    LLM->>Out: Forward Pass 3 → "가"
    LLM->>Out: Forward Pass 4 → "좋"
    LLM->>Out: Forward Pass 5 → "습니다"
    Note over LLM: 5개 토큰 = 5번의 Forward Pass<br/>(매번 거대 모델 전체 실행)

TO-BE (Speculative Decoding)

sequenceDiagram
    autonumber
    participant Draft as Draft 모델 (1B)
    participant Target as Target 모델 (70B)
    participant Out as 출력

    Draft->>Draft: 빠르게 4토큰 예측
    Note over Draft: "날씨", "가", "좋", "습니다"

    Draft->>Target: 4개 Draft 토큰 전달
    Target->>Target: 한 번의 Forward Pass로<br/>4개 토큰 동시 검증

    Note over Target: "날씨" ✅ 채택<br/>"가" ✅ 채택<br/>"좋" ✅ 채택<br/>"습니다" ✅ 채택

    Target->>Out: 4개 토큰 한꺼번에 출력
    Note over Out: Forward Pass 1회로<br/>4토큰 생성 완료

동작 원리 — 4단계

1단계: Draft 생성

작은 모델(예: 1B)이 다음 K개 토큰을 빠르게 예측

2단계: 병렬 검증

큰 모델(예: 70B)이 K개 토큰을 한 번의 Forward Pass로 동시에 검증. 각 토큰의 확률 분포를 비교

3단계: 채택 또는 거부

• Target 모델의 확률과 일치하는 가장 긴 접두사(prefix)를 채택
• 불일치하는 첫 토큰부터 Target 모델이 직접 생성

4단계: 반복

채택된 토큰부터 이어서 Draft 모델이 다시 K개 예측 → 검증 반복

왜 품질 저하가 없는가? (무손실 보장)

• Draft 토큰은 제안일 뿐, 최종 판단은 항상 Target 모델이 수행
• 거부된 토큰은 Target 모델이 직접 생성 → 결과적으로 Target 모델만 사용한 것과 동일한 출력
• 수학적으로 동일한 확률 분포를 보장

핵심 지표: Acceptance Rate (α)

α 값	의미	효과
높음 (0.8+)	Draft 토큰 대부분 채택	속도 대폭 향상
중간 (0.5)	절반 채택, 절반 거부	적당한 속도 향상
낮음 (0.2)	대부분 거부	오히려 오버헤드 발생 가능

α 값은 Draft 모델과 Target 모델의 능력 차이와 입력 난이도에 따라 결정됨.

참고 문서

• Speculative Decoding - BentoML LLM Inference Handbook
• Speculative Decoding Guide - DataCamp
• Speculative Decoding for Reducing Latency - NVIDIA Blog