파인튜닝

1) “파인튜닝은 나를 위한 모델을 만드는 것”이라는 직관은 왜 생길까?

처음엔 이렇게 생각했다.

“나를 위한 모델을 만든다고 가정하자. 나는 치킨을 좋아해. 그런데 기존의 LLM은 모를거잖아.
그것을 학습 시켜서 추후 더 나은 답변을 하게 만든거지?”

이 직관이 생기는 이유는 자연스럽다. “모델을 학습시킨다”는 말이 들리면, 사람은 보통 **새로운 사실을 머릿속에 ‘저장’**시키는 그림을 떠올리기 때문이다.

하지만 제품을 만든다고 생각해보면, 곧바로 문제가 생긴다. 사용자가 1명이 아니라 수십만 명이 되면, “치킨 좋아함” 같은 사실을 모델 가중치에 새길 수 있을까? 그리고 취향이 바뀌면 모델도 다시 학습해야 할까?

여기서 중요한 구분이 등장한다.

---

2) 꼭 기억해야 할 문장 하나

파인튜닝은 사용자별 상태(state) 관리가 아니다.

이 문장은 단순한 슬로건이 아니라, 제품 설계 방향을 결정해주는 기준이다.

영양사 AI를 예로 들어보자. 대화하다 보면 사용자가 이런 정보를 준다.

• A 음식은 좋아하고 B 음식은 싫어한다
• 견과류 알레르기가 있다
• 이번 달 목표는 체중 감량이다
• 예산은 하루 2만원이고 조리는 10분 안에 끝내고 싶다

이런 정보는 사용자마다 다르고, 시간에 따라 바뀌며, “수정/삭제”도 가능해야 한다. 이건 모델의 학습 파라미터에 새기는 것보다, 일반적인 소프트웨어 방식으로 다루는 게 훨씬 자연스럽다.

즉,

• 사용자별 정보는 DB에 user_profile로 저장하고
• 매 요청 때 “요약된 프로필”을 컨텍스트로 넣어 반영한다

이게 사용자별 상태(state) 관리다.

---

3) 그럼 파인튜닝은 대체 무엇을 바꾸는 걸까?

여기서 내가 헷갈렸던 지점이 딱 하나였다.

“프롬프트는 단순 자연어로 적어서 요청하면 되.
그런데 파인튜닝은 어떤 것을 모델에 전달해서 학습시키는거야??
json 형태로 A 질문, A 답변 이런식으로 전달하는 것은 봤어.
그런데 파인튜닝처럼 지시사항을 학습시킬 때는 어떻게 해야하는지 궁금해”

여기서 답은 의외로 단순하다. 파인튜닝(특히 SFT)은 ‘지시사항 파일’을 넣는 게 아니라, 예시 데이터셋으로 학습시키는 것이다.

OpenAI의 [Supervised fine-tuning (SFT) 가이드][sft]는 SFT를 “예시(examples)로 모델을 학습시켜 특정 유스케이스에 맞춘 커스텀 모델을 만들고, 원하는 스타일과 콘텐츠를 더 reliably 출력하게 한다”는 취지로 안내한다.
즉, 모델에게 “이 규칙을 외워!”라고 말로 주입하기보다, **“이런 입력이 오면 이런 출력이 정답이야”**를 반복해서 보여준다.

그래서 데이터는 보통 JSONL 한 줄이 “대화 1개 예시” 형태가 된다. 시스템 메시지에 규칙을 넣고, assistant에는 그 규칙을 지킨 모범 답안을 넣는다.

아래는 위에서 말한 형식의 실제 예시(1개 training example) 다. (JSONL에서는 이 덩어리가 한 줄에 들어간다고 생각하면 된다.)

{"messages":[
  {"role":"system","content":"너는 영양사 AI다. 답변은 항상 1)요약 2)필요 질문(최대 3개) 3)식단표 4)장보기 리스트 순서로 작성한다. 알레르기/금기 식품은 반드시 제외하고 대체식을 제시한다."},
  {"role":"user","content":"다이어트 중인데 저녁만 간단히 먹을 식단 추천해줘. 매운 건 싫어."},
  {"role":"assistant","content":"요약: 저녁은 400~500kcal로, 단백질 중심+저자극으로 구성할게요.\n추가 질문(3개): ...\n식단표: ...\n장보기 리스트: ...\n(매운 음식 제외/대체식 포함)"}
]}

• 데이터 포맷/잡 생성 흐름은 [Fine-tuning API 레퍼런스][ft-api]에도 정리돼 있다.

---

4) “그럼 system 프롬프트로 다 되지 않나?”라는 의문은 정당하다

여기까지 오면 다음 질문이 자연스럽게 나온다.

“파인튜닝으로 추천해준 정보들은 프롬프트 엔지니어링으로 system 프롬프트로 입력하면 되는거 아니야?
그것과 다를게 파이뉴닝으로 했을 때 장점이 뭐야? 장점이 없다면 system 프롬프트 사용하면 되잖아.”

결론부터 말하면: 맞다. 대부분은 system 프롬프트로 시작하는 게 맞다.

OpenAI의 [Optimizing LLM Accuracy][optim-acc] 같은 문서가 강조하는 사고도 비슷하다. 문제 유형에 따라 프롬프트/컨텍스트/RAG/모델 최적화 같은 레버를 적절히 선택하고, 보통은 단순한 방법부터 시작한다.

그럼에도 파인튜닝이 이기는 구간이 있다. 차이는 “가능/불가능”보다 운영 품질(일관성)과 효율 쪽에서 벌어진다.

• 규칙/포맷이 케이스마다 자꾸 깨져서 제품 신뢰가 흔들릴 때
• system 프롬프트가 너무 길어져서 토큰 비용/지연이 부담될 때
• 작은 모델로 내려 비용과 latency를 줄이고 싶은데 품질이 떨어질 때

이런 상황에서 SFT는 “모델의 기본 행동을 고정”시키는 데 도움이 된다. 관련 맥락은 [Model optimization][model-opt], [Latency optimization][latency-opt] 문서에서도 같이 다룬다.

---

5) 영양사 AI에서 “파인튜닝이 진짜로 좋은” 지점은 어디인가?

여기서 중요한 관점 전환이 있다.

• 사용자 취향/알레르기 같은 ‘사실’은 state로 저장하고
• 그 사실을 반영하는 ‘행동 습관’은 파인튜닝으로 고정한다

예를 들어 영양사 AI에서 파인튜닝이 잘 먹히는 건 이런 것들이다.

고정 리포트 포맷을 무조건 지키기

항상 요약 → 추가 질문(최대 3개) → 식단표 → 영양 요약 → 장보기 리스트 → 대체식 같은 구조로 내고 싶을 때, 프롬프트만으로는 케이스가 많아지면서 어느 순간 흔들릴 수 있다. SFT는 이런 “항상 같은 포맷”을 습관화하는 데 유리하다.

제약 누락 방지 체크리스트 습관

사용자가 “B는 싫어해요” 또는 “견과류 알레르기 있어요”라고 말했을 때, 어떤 상황에서도 반드시 제외하고 대체식을 제시하도록 만드는 것.
여기서 “B가 싫다”라는 정보는 state로 주입하고, “반드시 제외+대체식을 제시하는 행동”은 SFT로 굳히는 게 깔끔하다.

정보 부족하면 먼저 되물어보기(대화 프로토콜)

사용자가 “식단 짜줘”라고만 했을 때 바로 식단표를 내는 대신, 목표/알레르기/예산/조리 가능 여부 같은 핵심 질문 2~3개만 먼저 물어보게 만들고 싶다면, 멀티턴 예시로 SFT를 하면 안정적으로 굳는다.

---

6) “정답지를 N개 줘서 학습시키는 거야?” — 사진 영양분 사례로 이해하기

내가 가장 궁금했던 건 이 케이스였다.

“식단 사진을 전달했는데 영양분을 잘 맞추지 못해.
그래서 내가 정답을 알려줘서 그것을 학습 시키고 이후에 물어보면 정확하게 대답하도록 만들고 싶어.
그러면 내가 정답지를 N개 줘서 학습 시키는거야??”

Yes. SFT는 결국 N개의 (입력, 정답 출력) 예시를 모아 학습시키는 방식이다.

다만, 여기서 현실적인 주의점이 있다. 사진만으로는 중량/조리유/레시피를 모르는 경우가 많아 “정답”이 애매해질 수 있다. 그래서 실무에서는:

• 사진 + “대략 중량/재료” 같은 텍스트를 함께 주거나
• 출력 목표를 “정확값”이 아니라 “범위 + 추가 질문”으로 정의

하는 편이 더 안정적일 때가 많다. 이미지 입력을 포함한 학습 형태는 [Vision fine-tuning 가이드][vision-ft]에서 다룬다.

---

7) 한 번에 정리: 영양사 AI 설계에서 무엇을 어디에 두나?

여기까지 내용을 합치면 설계는 이렇게 정리된다.

1. 사용자마다 다르고 바뀌는 정보
   (좋아함/싫어함/알레르기/예산/목표/최근 섭취)
   → DB에 저장하고 컨텍스트로 주입 = state 관리

2. 모든 사용자에게 공통인 행동/포맷/프로토콜
   (리포트 구조, 체크리스트, 질문 순서, 경고 리포트 템플릿)
   → system 프롬프트로 시작 → 흔들리거나 비용이 커지면 = SFT 고려

3. 입력→출력이 명확한 태스크
   (영수증 품목 정리, 영양표 포맷 출력, 규칙 기반 리포트 생성)
   → 대표 예시 N개로 학습 = SFT가 잘 맞는 편

그리고 다시 한 번:

파인튜닝은 사용자별 상태(state) 관리가 아니다.
파인튜닝은 “기억 저장”이 아니라, “항상 같은 방식으로 일하는 습관(행동/규칙/포맷)을 데이터로 학습시키는 것”에 가깝다.

---

참고 문서 (OpenAI 공식)

• [Supervised fine-tuning (SFT) 가이드][sft]
• [Vision fine-tuning 가이드][vision-ft]
• [Fine-tuning best practices][ft-best]
• [Fine-tuning API 레퍼런스][ft-api]
• [Optimizing LLM Accuracy][optim-acc]
• [Model optimization][model-opt]
• [Evaluation best practices][eval-best]
• [Latency optimization][latency-opt]