Continuous Batching

• Continuous Batching은 요청 단위가 아닌 토큰 생성 단위(iteration-level)로 배치를 동적 관리하는 스케줄링 기법
• 완료된 요청의 자리에 새 요청을 즉시 삽입하여 GPU 유휴 시간을 최소화하는 추론 최적화 방식
• Static Batching 대비 최대 23배 처리량 향상, GPU 활용률 3060% → 8095%로 개선하는 실시간 배치 전략

해당 개념이 필요한 이유

• LLM 요청마다 출력 길이가 다름 — 어떤 요청은 50토큰, 어떤 요청은 500토큰
• Static Batching은 가장 긴 요청이 끝날 때까지 다른 요청을 기다리게 만듦
• 실시간 서비스(챗봇, API)에서는 응답 지연이 곧 사용자 경험 저하

AS-IS (Static Batching)

sequenceDiagram
    autonumber
    participant R1 as 요청 1 (50토큰)
    participant R2 as 요청 2 (100토큰)
    participant R3 as 요청 3 (500토큰)
    participant GPU as GPU

    Note over GPU: Batch 시작 (3개 요청)
    R1->>GPU: 50토큰 생성 완료
    Note over R1: ⬜ 대기 (GPU 낭비)
    R2->>GPU: 100토큰 생성 완료
    Note over R2: ⬜ 대기 (GPU 낭비)
    R3->>GPU: 500토큰 생성 완료
    Note over GPU: 전체 Batch 완료<br/>→ 그제서야 새 요청 수용

TO-BE (Continuous Batching)

sequenceDiagram
    autonumber
    participant R1 as 요청 1 (50토큰)
    participant R4 as 요청 4 (새 요청)
    participant R2 as 요청 2 (100토큰)
    participant R5 as 요청 5 (새 요청)
    participant GPU as GPU

    Note over GPU: Iteration-level 스케줄링
    R1->>GPU: 50토큰 완료 → 즉시 빠짐
    R4->>GPU: 빈자리에 즉시 투입
    R2->>GPU: 100토큰 완료 → 즉시 빠짐
    R5->>GPU: 빈자리에 즉시 투입
    Note over GPU: GPU 항상 최대 활용

Static vs Continuous Batching 비교

	Static Batching	Continuous Batching
스케줄링 단위	배치(Batch) 단위	이터레이션(토큰) 단위
빈자리 처리	배치 끝날 때까지 대기	완료 즉시 새 요청 삽입
패딩 낭비	가장 긴 요청에 맞춰 패딩	각 요청의 실제 토큰만 처리
GPU 활용률	30~60%	80~95%
처리량	기준	최대 23배 향상
적합한 사용처	오프라인 일괄 처리	실시간 서비스 (챗봇, API)

동작 원리 — Iteration-Level Scheduling

1. 여러 요청을 하나의 배치로 묶어 GPU에 투입
2. 매 토큰 생성 이터레이션마다 배치 구성을 재평가
3. 완료된 요청은 즉시 배치에서 제거
4. 빈 슬롯에 대기 중인 새 요청을 즉시 삽입
5. 반복 — GPU가 항상 최대 용량으로 동작

참고 문서

• Static, Dynamic and Continuous Batching - BentoML
• Continuous Batching from First Principles - HuggingFace
• 23x LLM Inference Throughput - Anyscale