val_bpb (Bits Per Byte)

• **BPB (Bits Per Byte)**는 모델이 다음 바이트를 예측하는 데 필요한 평균 비트 수를 나타내는 토크나이저 무관 평가 지표
• 크로스엔트로피 손실을 바이트 단위로 정규화한 정보 이론 기반 압축 효율 척도
• 낮을수록 모델이 데이터를 더 잘 이해하고 있음을 의미하는 단조 감소 목표 함수

해당 개념이 필요한 이유

• Perplexity는 토크나이저에 의존하므로, 어휘 크기가 다른 모델 간 공정한 비교가 불가능
• autoresearch에서 에이전트가 어휘 크기나 토크나이저를 변경할 수 있으므로, 토크나이저 무관 지표가 필수

Perplexity와의 핵심 차이

지표	정의	단위	토크나이저 의존?
Cross-Entropy	모델 분포로 데이터 인코딩에 필요한 비트	nats/bits	O (토큰 단위)
Perplexity	exp(토큰당 크로스엔트로피)	“유효 선택지 수”	O
BPB	바이트당 크로스엔트로피	bits/byte	X

수식 관계

BPB = CrossEntropy × (1/ln(2)) / bytes_per_token
Perplexity = 2^(bytes_per_word × BPB)

50K 어휘 모델과 8K 어휘 모델이 동일한 텍스트를 같은 수준으로 압축하더라도 perplexity는 다르게 나온다. BPB는 UTF-8 바이트 기준으로 정규화하므로 이 문제가 없다.

토크나이저 무관성이 중요한 이유

토큰의 정의는 토크나이저(BPE, Unigram, merge 규칙, 특수 토큰 등)에 따라 달라진다. 동일한 문장이라도 토크나이저를 바꾸면 토큰 수가 달라지므로, 토큰 단위 지표(평균 CE, perplexity)는 모델링 품질과 무관하게 변한다. 조잡한 토크나이저(적은 수의 긴 토큰)를 쓰면 분모가 바뀌어 perplexity가 낮아 보이는 착시가 발생한다.

BPB는 원시 UTF-8 바이트 기준으로 정규화하므로, 어떤 토크나이저를 쓰든 동일한 “텍스트 압축 능력”을 측정한다.

참고 문서

• Evaluating AI Models — Understanding Entropy, Perplexity, BPB, and BPC (Medium)
• Bits-per-Byte: a tokenizer-agnostic way to measure LLMs (Medium)
• Validation Bits Per Byte — DeepWiki
• Measuring a Language Model (skeptric)