Whisper

• Whisper는 OpenAI가 공개한 범용 음성 인식(ASR) 모델
• 680,000시간의 다국어 웹 오디오 데이터로 학습된 Transformer 기반 Encoder-Decoder 모델
• 99개 언어의 전사(transcription), 영어 번역(translation), 언어 감지(language detection)를 단일 모델로 수행하는 멀티태스크 아키텍처
• whisper.cpp를 통해 모바일·엣지 기기에서 온디바이스 추론이 가능한 경량 배포 모델
• STT(Speech-to-Text) 전용 모델로, TTS(Text-to-Speech)는 지원하지 않음

해당 개념이 필요한 이유

• 기존 음성 인식 모델은 특정 언어·환경에 특화되어, 새로운 도메인에 적용하려면 fine-tuning이 필수적이었음
• Whisper는 대규모 약지도 학습(weak supervision)으로 zero-shot 전이 성능이 뛰어나, fine-tuning 없이도 다양한 환경에서 바로 사용 가능
• MIT 라이선스로 공개되어 상업적 활용 포함 자유롭게 사용 가능
• 모델 가중치가 로컬에 다운로드되어 API 호출이나 인터넷 연결 없이 완전한 오프라인 동작이 가능

AS-IS

sequenceDiagram
    autonumber
    participant User as 사용자
    participant STT as 기존 ASR 시스템
    participant Pipeline as 후처리 파이프라인

    User->>STT: 음성 입력 (특정 언어)
    STT->>STT: 음성 인식 (단일 언어 전용 모델)
    STT->>Pipeline: 텍스트 출력
    Pipeline->>Pipeline: 별도 언어 감지 모듈
    Pipeline->>Pipeline: 별도 번역 모듈
    Pipeline->>User: 최종 결과
    Note over STT,Pipeline: 각 단계별 별도 모델 필요<br/>새 언어/도메인마다 fine-tuning 필수

TO-BE

sequenceDiagram
    autonumber
    participant User as 사용자
    participant Whisper as Whisper 모델

    User->>Whisper: 음성 입력 (어떤 언어든)
    Whisper->>Whisper: Mel Spectrogram 변환
    Whisper->>Whisper: Encoder (음성 특징 추출)
    Whisper->>Whisper: Decoder (태스크 토큰에 따라 전사/번역/언어감지)
    Whisper->>User: 텍스트 결과
    Note over Whisper: 단일 모델이 모든 태스크 수행<br/>zero-shot으로 다양한 환경 대응

Whisper 아키텍처

Whisper는 Transformer 기반의 Encoder-Decoder 구조를 사용한다.

Encoder 단계에서는 입력 오디오를 80채널의 Mel Spectrogram으로 변환한 뒤, 30초 단위의 슬라이딩 윈도우로 분할하여 처리한다. Encoder는 이 스펙트로그램에서 음성의 특징(feature)을 추출한다.

Decoder 단계에서는 특수 태스크 토큰(<|transcribe|>, <|translate|>, <|language|> 등)을 입력으로 받아, 하나의 모델이 여러 태스크를 autoregressive하게 수행한다. 이 멀티태스크 학습 포맷 덕분에 전사·번역·언어 감지를 별도 모델 없이 처리할 수 있다.

오디오 → [Mel Spectrogram (80ch, 30s window)]
       → [Encoder: Transformer blocks]
       → [Decoder: Task token + Autoregressive generation]
       → 텍스트 출력

Whisper가 수행하는 태스크는 모두 음성을 입력으로 받아 텍스트를 출력하는 STT 방향이다. 구체적으로 다국어 음성 전사, 음성→영어 번역, 언어 감지, 음성 활동 감지(VAD)를 지원한다. 텍스트에서 음성을 생성하는 TTS는 Whisper의 범위 밖이며, OpenAI는 TTS를 위해 별도 모델을 제공한다.

모델 사이즈별 비교

모델	파라미터	VRAM	상대 속도	비고
Tiny	39M	~1GB	10x	English-only 변형 제공
Base	74M	~1GB	7x	English-only 변형 제공
Small	244M	~2GB	4x	English-only 변형 제공
Medium	769M	~5GB	2x	English-only 변형 제공
Large	1,550M	~10GB	1x (기준)	다국어 전용
Turbo	809M	~6GB	8x	Large 최적화 변형, 번역 미지원

English-only 모델(tiny.en, base.en 등)은 소형 사이즈에서 다국어 모델보다 성능이 우수하다. Large 모델부터는 다국어 모델만 제공된다.

약지도 학습(Weak Supervision)과 Zero-shot 전이

Whisper의 핵심 혁신은 학습 데이터 전략에 있다. 인터넷에서 수집한 680,000시간의 오디오-텍스트 쌍을 사용했으며, 이 데이터는 완벽하게 레이블링된 것이 아니라 자동 생성된 자막 등 **약한 지도 신호(weak supervision)**를 활용한 것이다.

이 접근법의 장점:

• 데이터 다양성: 다양한 억양, 배경 소음, 전문 용어가 포함된 실환경 데이터
• 규모: 기존 지도학습 데이터셋 대비 압도적 규모
• 일반화: 특정 벤치마크에 과적합되지 않아 zero-shot 전이 성능이 우수
• 논문에 따르면 “사람의 정확도와 강건성에 근접하는” 수준의 성능

온디바이스 배포: whisper.cpp

Whisper는 pip install openai-whisper만으로 모델 가중치가 로컬에 다운로드되어 완전히 오프라인으로 동작한다. 여기에 더해 whisper.cpp 프로젝트가 C/C++로 Whisper를 재구현하여, 모바일·엣지 기기에서도 온디바이스 추론을 가능하게 했다. 외부 의존성 없이 순수 C/C++로 작성되어 다양한 플랫폼에서 동작한다.

지원 플랫폼:

• 모바일: iOS, Android (Apple Silicon에 최적화)
• 데스크탑: macOS (Intel/ARM), Linux, Windows
• 엣지/임베디드: Raspberry Pi, WebAssembly, Docker

온디바이스 최적화 기술:

• ARM NEON / Accelerate 프레임워크 (Apple Silicon)
• AVX intrinsics (x86)
• Metal GPU 가속 / Core ML (Apple Neural Engine)
• NVIDIA CUDA, Vulkan (크로스 벤더 GPU)
• GGML 포맷 + 양자화(Quantization): Q5_0 등으로 모델 크기 대폭 축소
• 런타임 시 zero memory allocation

온디바이스 메모리 사용량:

모델	디스크	런타임 메모리
Tiny	75 MiB	~273 MB
Base	142 MiB	~388 MB
Small	466 MiB	~852 MB
Medium	1.5 GiB	~2.1 GB
Large	2.9 GiB	~3.9 GB

실시간 추론을 위해 500ms 간격으로 마이크 입력을 샘플링하는 stream 도구도 제공된다.

경쟁 모델 비교

모델	개발사	특징	Whisper 대비	온디바이스
Faster Whisper	SYSTRAN	CTranslate2 기반 Whisper 재구현	4x 빠름, 동일 정확도, 메모리 절감	O (로컬 GPU/CPU)
NVIDIA Canary-1B	NVIDIA	FastConformer 인코더, 1B 파라미터	WER 우수 (LibriSpeech clean 1.48%), 4개 언어, CC-BY-NC	O (로컬 실행 가능, NeMo 프레임워크)
whisper.cpp	ggerganov	Whisper의 C/C++ 포팅	온디바이스 특화, 양자화 지원, 동일 모델	O (모바일/엣지/임베디드)
Google Speech-to-Text	Google	클라우드 API 기반	높은 정확도	X (클라우드 API 필수)
Apple Speech Framework	Apple	iOS/macOS 내장	Apple 생태계 한정, 비공개 모델	O (Apple 기기 전용)
Meta SeamlessM4T	Meta	음성+텍스트 다국어 번역	번역 강점, 100개 언어, 제한적 라이선스	O (로컬 실행 가능, HuggingFace 공개)

Google Speech-to-Text만 온디바이스가 불가하고 나머지는 모두 로컬 실행이 가능하다. 다만 온디바이스의 수준에는 차이가 있다:

• 모바일/엣지까지 가능: whisper.cpp, Apple Speech Framework
• 데스크탑/서버 로컬: Faster Whisper, Canary-1B, SeamlessM4T

모델 선택 기준:

• 정확도 최우선 → NVIDIA Canary 또는 Whisper Large
• 속도 최우선 → Faster Whisper (GPU) 또는 whisper.cpp (엣지)
• 온디바이스 + 오픈소스 → Whisper + whisper.cpp 조합이 가장 현실적
• 상업적 자유도 → Whisper (MIT) > 대부분의 경쟁 모델

사용법

CLI로 전사:

whisper audio.wav --model turbo

특정 언어 지정:

whisper japanese.wav --language Japanese

영어 번역:

whisper japanese.wav --model medium --language Japanese --task translate

Python API:

import whisper
 
model = whisper.load_model("turbo")
result = model.transcribe("audio.mp3")
print(result["text"])

저수준 API (detect_language(), decode(), load_audio(), log_mel_spectrogram())를 통해 언어 감지와 디코딩을 개별적으로 제어할 수도 있다.

참고 문서

• OpenAI Whisper GitHub
• Whisper 논문 (arXiv:2212.04356)
• whisper.cpp GitHub
• OpenAI Whisper 공식 페이지
• Faster Whisper GitHub
• NVIDIA Canary-1B