Knowledge Distillation

• **Knowledge Distillation(지식 증류)**은 큰 teacher 모델의 지식을 작은 student 모델로 옮기는 모델 압축 기법
• teacher의 출력(확률분포·soft label)을 student가 모방하도록 학습시키는 teacher-student 학습 구조
• 정확도를 최대한 유지하면서 모델 크기·추론 비용을 줄이는 경량화 방법
• 가중치 복사가 아니라 “가르쳐서 흉내내게” 하는 근사적 지식 전달

해당 개념이 필요한 이유

• 큰 모델은 정확하지만 느리고 무거워 온디바이스·실시간엔 부담
• 작은 모델을 scratch로 학습하면 정확도가 떨어짐
• teacher가 주는 “부드러운 정답(soft label)“이 풍부한 학습 신호 제공

AS-IS / TO-BE

flowchart LR
    subgraph A["AS-IS — 작은 모델을 혼자 학습"]
        A1[작은 모델] --> A2["hard label만으로 학습<br/>(정답/오답 1개씩)"] --> A3["성능 한계"]
    end
    subgraph B["TO-BE — distillation"]
        T["teacher (큰 모델)"] -->|"soft label 전달"| B2
        B1["student (작은 모델)"] --> B2["teacher 흉내내며 학습"] --> B3["작지만 똑똑한 모델"]
    end

soft label이 핵심 — 직관

• hard label: 정답 하나뿐. 예) 이미지 → “고양이”
• soft label: teacher가 낸 확률분포. 예) 고양이 0.7, 개 0.2, 여우 0.1

soft label에는 “고양이지만 개와 헷갈릴 만하다”는 추가 정보(dark knowledge) 가 담겨 있다. student가 이 분포까지 따라 배우면, 단순 정답만 외우는 것보다 더 잘 일반화한다. 선생이 “정답은 A인데, B도 비슷해서 헷갈리기 쉬워”라고 짚어주는 것과 같다.

distillation 종류

종류	무엇을 모방	비고
Response-based	teacher의 최종 출력(확률분포)	가장 일반적
Feature-based	중간 레이어의 표현(feature)	구조 호환·projection 필요
Relation-based	샘플 간 관계 구조	고급 기법

과정 (코드 흐름)

teacher.eval()   # teacher는 고정 (학습 안 함)
for x, y in dataloader:
    with no_grad():
        soft_target = softmax(teacher(x) / T)     # T = 온도, 분포를 부드럽게
    pred = student(x)
    # ① teacher 흉내(증류) + ② 진짜 정답(hard label) 둘 다 학습
    loss = KL(softmax(pred / T), soft_target) + CE(pred, y)
    loss.backward(); optimizer.step()

• 온도(Temperature, T): 클수록 확률분포가 부드러워져 dark knowledge가 잘 드러난다.

Gemma에 적용하면

• Gemma를 teacher로 두고 더 작은 student 모델을 학습시켜 지식을 이전할 수 있다.
• 같은 계열의 작은 모델로는 비교적 쉽고, 완전히 다른 구조로는 더 어렵고 근사치에 가깝다.
• “통째 이식”이 아니라 “가르쳐서 흉내내게” 하는 것이다. (구조가 같다면 그냥 가중치 복사 = 통째 복제)
• ⚠️ 라이선스 확인 필수: teacher 출력으로 학습한 모델의 배포·상업화 조항을 모델 카드에서 확인해야 한다.

Fine-tuning과의 차이

• Fine-tuning: 같은 모델을 내 데이터로 더 학습해 특화 (지식의 “갱신·추가”).
• Distillation: 큰 모델의 지식을 다른(작은) 모델로 이전 (지식의 “이사·압축”).

참고 문서

• Distilling the Knowledge in a Neural Network (arXiv:1503.02531)
• 관련 개념: Fine-tuning, ONNX Runtime, Supertonic 3