Deep Learning Guide · 03
AI의 후속 학습은 무엇을 바꾸는가
사전학습 모델은 방대한 텍스트의 패턴을 익혔지만, 사용자의 지시를 따르고 위험한 요청을 거절하며 정해진 형식으로 답하도록 완성된 것은 아닙니다. 후속 학습은 이미 만들어진 모델을 예시·비교·보상과 규칙으로 더 유용하고 통제 가능한 행동 쪽으로 조정하는 과정입니다.
먼저 세 문장으로 이해하기
- 사전학습이 폭넓은 패턴과 능력을 만든다면, 후속 학습은 그 능력을 언제 어떻게 표현할지 조정합니다.
- 좋은 답의 시범과 여러 답의 선호 비교는 인간의 의도를 수치로 옮기지만, 평가자의 관점과 측정하지 못한 가치도 함께 남습니다.
- 후속 학습은 유용성과 안전을 개선할 수 있지만 진실, 공정성, 통제 가능성을 완성하는 마지막 해결책은 아닙니다.
01 · What Post-training Means
같은 기반 능력으로도 전혀 다른 행동을 만들 수 있습니다.
후속 학습은 사전학습 뒤에 수행되는 여러 조정 절차의 묶음입니다. 대화, 요약, 코드 작성, 특정 분야, 안전 거절이나 도구 호출처럼 원하는 사용 방식에 모델의 출력을 맞춥니다.
- 01사전학습
가능한 말과 패턴을 넓게 익힘
다음 토큰 예측을 통해 언어·코드·지식의 관계를 학습하지만 무엇이 좋은 답인지 하나의 기준으로 정하지는 않습니다.
- 02후속 학습
원하는 답과 행동을 더 자주 선택
시범·선호·규칙·검증 가능한 보상을 이용해 지시 따르기, 형식, 안전과 전문 작업을 조정합니다.
- 03배포 시스템
학습 밖의 통제를 덧붙임
프롬프트, 검색, 권한 검사, 필터와 사람 승인은 가중치를 바꾸지 않고 실제 사용 환경을 통제합니다.
프롬프트와 후속 학습은 무엇이 다른가?
프롬프트·컨텍스트
한 요청의 입력을 바꿉니다. 빠르고 되돌리기 쉽지만 매번 지침을 제공해야 하고 행동이 불안정할 수 있습니다.
후속 학습
여러 요청에서 나타나는 기본 행동을 가중치에 반영합니다. 더 일관될 수 있지만 데이터·연산·평가가 필요하고 부작용을 되돌리기 어렵습니다.
02 · Specifying Behavior
‘좋은 AI’라는 추상적 요구를 관찰 가능한 자료로 바꿔야 합니다.
모델은 개발자의 마음속 의도를 직접 읽지 못합니다. 원하는 행동과 원하지 않는 행동을 예시·비교·규칙·시험으로 표현해야 합니다.
시범 답변
질문과 이상적인 답을 한 쌍으로 만듭니다. 내용, 말투, 형식과 거절 방식을 직접 보여줍니다.
선호 비교
같은 질문에 대한 두 개 이상의 답 중 무엇이 더 나은지 사람이 순위를 정하거나 선택합니다.
원칙과 정책
안전, 개인정보, 공정성, 법과 서비스 범위를 문장으로 정리해 생성·비평·평가에 사용합니다.
검증 가능한 신호
코드 테스트 통과, 수학 정답, 게임 점수처럼 자동으로 확인할 수 있는 결과를 보상에 사용합니다.
데이터 한 건이 만들어지는 과정
- 01사용 상황 선택
- 02질문·과제 작성
- 03후보 답 생성
- 04평가 기준 적용
- 05선택·수정·기록
- 06품질 검사와 분할
03 · Supervised Fine-tuning
먼저 좋은 답의 시범을 따라 하게 합니다.
지도 미세조정(SFT)은 질문 뒤에 사람이 작성하거나 검수한 모범 답변을 붙이고, 모델이 그 답변의 다음 토큰을 더 높은 확률로 내도록 학습합니다. 지시 조정은 여러 종류의 과제를 자연어 지시 형태로 모아 일반적인 지시 수행 능력을 키우는 방식입니다.
이 문장을 세 줄로 요약해 줘. 요약이란…
1. 핵심 주장 2. 주요 근거 3. 남은 한계
질문을 반복하지 않고 요청한 형식으로 바로 답하기
지시 형식
어디까지가 질문이고 어떤 부분을 답해야 하는지
응답 관습
간결함, 단계, 표, 인용이나 구조화된 출력 방식
역할과 분야
고객 지원, 법률 문서 분류, 코딩처럼 목표 작업의 어휘와 패턴
04 · Preferences & Reward
정답 하나를 쓰기 어려우면 여러 답을 비교해 방향을 가르칩니다.
창작·대화·안전처럼 좋은 답이 하나가 아닌 작업에서는 평가자가 후보를 비교하는 편이 쉬울 수 있습니다. 이 선호 자료는 직접 모델을 조정하거나 보상 모델을 학습하는 데 쓰입니다.
복잡한 의료 검사 결과를 설명해 줘.
불확실성과 진료 필요성을 밝힘
검사값의 일반적 의미를 설명하되 개인 진단을 단정하지 않고 담당 의료진과 확인할 질문을 제시합니다.
단정적이지만 그럴듯함
한 수치만으로 질환을 확정하고 출처나 예외 조건 없이 치료 방향까지 지시합니다.
- 01
후보 생성
현재 모델이 같은 질문에 여러 답을 만듦
- 02
사람의 비교
지침에 따라 더 나은 답을 고르거나 순위를 매김
- 03
보상 예측
보상 모델이 새로운 답의 선호 점수를 추정
- 04
정책 조정
높은 보상을 받는 답이 더 자주 나오도록 언어 모델을 갱신
05 · Optimization Families
같은 선호 자료도 서로 다른 방법으로 모델에 반영합니다.
현대 모델은 여러 방법을 조합하며, 세부 알고리즘은 개발사와 모델마다 다릅니다. 아래 구분은 핵심 논리를 이해하기 위한 지도입니다.
RLHF
사람의 비교로 보상 모델을 만들고, 언어 모델이 높은 보상을 얻도록 강화학습합니다. 원래 모델에서 너무 멀리 벗어나지 않도록 제약을 함께 두는 경우가 많습니다.
보상 모델의 빈틈을 최적화하지 않는가?DPO
선택된 답의 확률은 높이고 선택되지 않은 답의 확률은 낮추는 방식으로 선호를 직접 반영합니다. 별도 보상 모델과 복잡한 온라인 강화학습 단계를 줄입니다.
비교 자료가 실제 사용 상황을 대표하는가?AI 피드백
사람이 정한 원칙을 바탕으로 모델이 답을 비평·수정하거나 후보 선호를 생성합니다. 대규모 자료를 만들기 쉽지만 평가 모델의 편향과 오류도 확대될 수 있습니다.
사람이 원칙과 결과를 실질적으로 감사하는가?검증 가능한 보상
코드 실행, 수학 정답, 형식 검사처럼 결과를 확인해 보상합니다. 명확한 과제에 유용하지만 검증기가 측정하지 않는 품질과 안전은 놓칠 수 있습니다.
시험을 통과하는 것과 목표 달성이 같은가?06 · Efficient Adaptation
모든 가중치를 다시 바꾸지 않고도 모델을 조정할 수 있습니다.
큰 모델의 전체 미세조정은 많은 메모리와 저장 공간을 요구합니다. 목적과 자원에 따라 일부 파라미터만 학습하거나 더 작은 모델로 행동을 옮깁니다.
전체 미세조정
변화의 폭이 크지만 연산·메모리 비용과 기존 능력 손상 위험도 큽니다.
LoRA·어댑터
기반 가중치를 고정하고 작은 행렬이나 모듈을 학습합니다. 여러 목적의 조정본을 비교적 가볍게 보관할 수 있습니다.
지속 사전학습
의학·법률·특정 언어처럼 새로운 분포의 텍스트를 더 학습한 뒤 지시·선호 조정을 이어갈 수 있습니다.
증류
큰 교사 모델의 출력이나 분포를 이용해 작은 모델을 학습합니다. 비용을 줄이지만 능력과 오류도 함께 전달될 수 있습니다.
07 · People, Rules & Power
모델의 기본 태도 뒤에는 사람의 노동과 선택이 있습니다.
후속 학습 자료는 자연적으로 생기는 정답표가 아닙니다. 작업을 설계한 조직, 지침을 쓴 사람, 답을 작성·평가한 노동자와 그들이 처한 조건이 모델 행동에 반영됩니다.
누가 평가했는가
언어, 지역, 전문성, 노동 조건과 참여자 구성이 공개되는가?
무엇을 선호했는가
도움·정확성·무해성·간결함이 충돌할 때 어떤 기준을 우선했는가?
누가 원칙을 정했는가
법과 문화가 다른 사용자에게 하나의 기업 정책이 보편 가치처럼 적용되는가?
이의 제기가 가능한가
잘못된 거절이나 편향된 행동을 신고하고 수정 과정을 확인할 수 있는가?
08 · Failure & Evaluation
모델이 지시를 더 잘 따른다는 사실만으로 더 안전하다고 결론낼 수 없습니다.
조정 목표가 불완전하거나 평가 범위가 좁으면 한 지표가 좋아지는 동안 다른 능력과 사용자 집단에서 문제가 생길 수 있습니다.
보상 편법
평가 점수를 높이는 표면적 단서를 찾아 의도한 결과 없이 보상을 얻습니다.
아첨
사용자가 듣고 싶어 하는 답이 선호되면서 사실보다 사용자의 믿음에 동조합니다.
과잉 거절
위험을 줄이려다 정상적이고 유익한 질문까지 거절하거나 특정 표현에만 반응합니다.
능력 손상
좁은 분야나 최근 자료에 강하게 맞추면서 기존 지식·언어·추론 능력이 약해집니다.
평가 과적합
공개 시험과 비슷한 자료에 맞춰 점수는 높지만 새로운 현실에서는 개선이 이어지지 않습니다.
숨은 행동 차이
시험 상황에서는 규칙을 따르지만 다른 문맥·권한·압박 아래에서 예상과 다르게 행동합니다.
후속 학습 평가는 층별로 확인해야 합니다.
- 01
목표 과제
지시 수행, 정확성, 형식과 분야 성능
- 02
보존 능력
기존 언어·지식·추론 능력이 손상되지 않았는지
- 03
안전·공정성
유해 응답, 편향, 개인정보와 과잉 거절
- 04
적대적 시험
우회 표현, 긴 대화, 프롬프트 공격과 도구 권한
- 05
실제 배포
다양한 사용자와 환경에서 생기는 사고·불만·새로운 오용
공개된 모델 조정 보고서에서 확인할 질문
- 01
후속 학습의 목표와 우선순위가 구체적으로 공개됐는가?
- 02
시범·선호 자료의 출처, 평가자 구성과 지침을 알 수 있는가?
- 03
사용한 방법과 각 단계의 효과를 분리해 비교했는가?
- 04
평균 점수 외에 언어·집단·고위험 분야별 결과를 공개했는가?
- 05
아첨·과잉 거절·보상 편법과 기존 능력 손상을 시험했는가?
- 06
외부 평가, 사고 신고, 수정과 이전 버전으로 돌아갈 절차가 있는가?
읽은 내용을 스스로 확인하기
후속 학습은 모델에 새로운 사실을 넣는 가장 좋은 방법인가?
항상 그렇지 않습니다. 안정적인 분야 지식을 익히게 할 수 있지만 자주 바뀌는 사실은 검색과 출처 관리가 더 적합할 수 있습니다. 행동 조정과 지식 갱신의 목적을 구분해야 합니다.
사람들이 더 좋아한 답은 더 진실한 답인가?
반드시 그렇지 않습니다. 평가자는 유창함, 자신감이나 자신의 견해와 일치하는 답을 선호할 수 있습니다. 사실성은 독립된 근거와 시험으로 확인해야 합니다.
DPO는 사람의 선호가 필요 없는 방법인가?
아닙니다. DPO는 보통 선택된 답과 선택되지 않은 답의 비교 자료를 직접 사용합니다. 별도 보상 모델과 강화학습 절차를 단순화하지만 선호 자료의 품질 문제는 남습니다.
안전 미세조정을 하면 배포 통제가 필요 없어지는가?
아닙니다. 새로운 공격과 사용 환경이 나타날 수 있고 모델의 거절은 우회될 수 있습니다. 권한 제한, 사람 승인, 기록, 모니터링과 사고 대응이 별도로 필요합니다.
09 · Study Path
좋은 답을 만드는 데이터에서 시작해, 선호 최적화와 실패를 살펴보세요.
논문을 모두 수식으로 읽을 필요는 없습니다. 초록·그림·방법 순서로 읽으며 ‘누가 무엇을 좋은 답으로 정했는가’를 계속 질문해 보세요.