Gaussian Process

• **Gaussian Process(GP)**는 함수 하나가 아니라 “가능한 함수들의 분포”를 다루는 확률모형
• 어떤 입력 지점들을 뽑아도 그 함수값들이 항상 다변량 정규분포(multivariate normal)를 따른다는 가정
• 예측을 점 하나가 아니라 “평균 ± 불확실성(분산)“으로 내놓는 비모수(non-parametric) 회귀 도구

해당 개념이 필요한 이유

• 베이지안 최적화의 surrogate model로 쓰려면, “이 지점의 예측값”뿐 아니라 “여기를 얼마나 모르는가(불확실성)” 가 필요하다 — 그래야 다음에 탐색할 곳을 정한다
• 데이터가 적을 때(비싼 실험), 점 몇 개만으로 함수 전체 모양과 신뢰구간을 동시에 추정해야 한다
• 일반 회귀(선형/신경망)는 보통 점 추정 하나만 주지만, GP는 예측값 + 불확실성을 한 번에 준다

AS-IS — 점 추정 하나만 내놓는 회귀

# 일반 회귀: 예측값 하나. 이 값이 얼마나 믿을 만한지는 모름
model.fit(X_train, y_train)
y_pred = model.predict(x_new)        # 예: 0.052

TO-BE — 평균과 불확실성을 함께 내놓는 GP

# Gaussian Process: 평균(mean) + 불확실성(std)을 같이 반환
gp.fit(X_train, y_train)
mean, std = gp.predict(x_new, return_std=True)
# mean = 0.052, std = 0.018  →  "0.052쯤인데 ±0.018 만큼 불확실"

GP를 이루는 3가지 요소

1. 평균 함수 (mean function) m(x)

• 함수의 기대값(중심선). 실무에선 보통 0으로 둔다 — 데이터가 알아서 끌어올린다.

2. 커널 = 공분산 함수 k(x, x’)

• “두 입력이 가까우면 출력도 비슷하다” 는 닮음(유사도)의 정의. GP의 성격을 사실상 다 결정한다.
• 가장 흔한 게 RBF(제곱지수, squared exponential) 커널:

k(x, x') = exp( − d² / (2ℓ²) )      # d = |x − x'|

• ℓ(length-scale): 함수가 얼마나 빨리 변하는지. 작을수록 구불구불, 클수록 완만.
• 커널을 바꾸면 매끄러움(Matérn), 주기성(periodic) 같은 성질을 넣을 수 있다.

3. 사후분포 (posterior) — 관측 후 업데이트

• 점을 관측하면 분포가 그 점을 지나도록 좁아진다. 관측점 근처는 불확실성↓, 멀어질수록 불확실성↑.
• 새 지점 x*에서의 예측은 다음으로 계산된다 (관측 입력 X, 관측값 y):

사후 평균   μ(x*) = K(x*, X) · K(X, X)⁻¹ · y          # 관측값들의 가중 조합
사후 분산   σ²(x*) = K(x*, x*) − K(x*, X) · K(X, X)⁻¹ · K(X, x*)

• 평균 μ는 “관측값들을 거리(커널) 가중으로 섞은 값”, 분산 σ²은 “관측에서 멀수록 커지는 불확실성”이다.

직관: “관측점을 지나는 고무줄 다발”

• prior: 가능한 함수들이 제멋대로 퍼져 있다 (아무것도 모르는 상태).
• 관측: 점을 하나 찍으면, 그 점을 지나는 함수만 남는다 → 점 근처는 다발이 좁아지고, 먼 곳은 여전히 넓다.
• 이 “넓이(분산)“가 곧 불확실성이고, 베이지안 최적화가 “어디를 더 탐색할까”를 정하는 근거가 된다.

한계

• 데이터 N개일 때 K(X, X)⁻¹ 계산이 O(N³) → 대용량 데이터에 비싸다.
• 그래서 GP/BO는 “평가 횟수가 적은” 상황(비싼 실험, ≤20차원)에서 가장 빛난다.

참고 문서

• https://en.wikipedia.org/wiki/Gaussian_process
• surrogate model로 쓰이는 맥락: 베이지안 최적화