RoPE (Rotary Position Embedding)

• RoPE는 쿼리와 키 벡터를 위치에 비례한 각도로 회전시켜 위치 정보를 인코딩하는 방식 (Su et al., 2021)
• 절대 위치는 회전 행렬로, 상대 위치는 내적의 위상 차이로 두 가지를 동시에 포착
• 추가 학습 파라미터가 없고, 학습 시 못 본 시퀀스 길이로 외삽이 가능한 위치 인코딩

해당 개념이 필요한 이유

• 기존 절대 위치 임베딩은 학습된 고정 길이에 갇히며, 상대 위치를 포착하지 못함
• T5의 상대 위치 바이어스는 N×N 행렬 구성이 필요해 Flash Attention 등 효율 어텐션과 비호환
• RoPE는 이 두 문제를 동시에 해결

핵심 작동 원리

d차원 벡터의 특성(feature)을 d/2개 쌍으로 묶고, 각 쌍을 2D 평면의 좌표로 간주한다. 토큰의 위치 m에 따라 각 쌍을 θ·m 만큼 회전시킨다.

# 위치 m의 쿼리, 위치 n의 키
q_rotated = rotate(q, angle=theta * m)  # 각 차원 쌍마다 다른 theta
k_rotated = rotate(k, angle=theta * n)
 
# 내적 시 절대 각도는 상쇄되고 위치 차이만 남음
dot(q_rotated, k_rotated) → f(m - n)에만 의존

하나의 회전 각도가 아니라 차원 쌍마다 다른 주파수의 각도를 사용한다. 내적 시 절대 각도는 상쇄되고 각도 차이만 남으므로 자연스럽게 상대 위치 인코딩이 된다.

위치 인코딩 방식 비교

방식	파라미터	상대 위치	길이 외삽	효율 어텐션 호환
학습된 절대 임베딩	O (위치별)	X	X	O
Sinusoidal (Vaswani)	X	부분적	제한적	O
T5 Relative Bias	O (거리별)	O	X	X (N×N 필요)
RoPE	X	O	O	O

상대 거리에 따른 감쇄

RoPE는 토큰 간 상대 거리가 멀어질수록 어텐션 기여가 자연스럽게 감쇄되는 특성을 가진다. 이는 별도의 마스킹 없이도 “가까운 토큰이 더 중요하다”는 언어적 직관을 반영한다.

길이 외삽의 실제

학습 시 4K 토큰 윈도우로 학습한 체크포인트를, 추론 시 100K+ 토큰으로 확장할 수 있다. 각도 스케일링 트릭(angle-scaling trick)을 적용하면 추가 학습 없이도 긴 시퀀스 처리가 가능하다. LLaMA, PaLM 등 현대 LLM들이 이 방식을 채택한 이유이기도 하다.

참고 문서

• RoFormer: Enhanced Transformer with Rotary Position Embedding (arXiv)
• Rotary Embeddings: A Relative Revolution — EleutherAI Blog
• Inside RoPE: Rotary Magic into Position Embeddings — LearnOpenCV
• Rotary Positional Embeddings — LabML Implementation