Deep Learning Guide · 02
AI는 어떻게 추론하는가
AI에서 ‘추론’은 반드시 인간처럼 논리적으로 생각한다는 뜻이 아닙니다. 학습이 모델의 가중치를 바꾸는 과정이라면, 추론은 고정된 가중치와 새 입력을 사용해 출력을 계산하는 실행 단계입니다.
먼저 세 문장으로 이해하기
- 같은 모델도 입력 문맥, 연결된 자료와 도구, 다음 토큰 선택 방법에 따라 서로 다른 결과를 냅니다.
- 언어 모델은 완성된 답을 한 번에 꺼내지 않고 지금까지의 문맥에서 다음 토큰을 하나씩 계산합니다.
- 유창한 출력은 내부 계산의 결과이지 사실 확인의 증거가 아니므로, 중요한 판단에는 출처와 외부 검증이 필요합니다.
01 · What Inference Means
추론은 학습된 규칙을 새 입력에 적용하는 순간입니다.
사진 분류기는 사진에 대한 범주 확률을 계산하고, 예측 모델은 숫자를 내며, 생성 모델은 새로운 내용을 만듭니다. 모두 추론입니다. ‘논리적 사고’는 추론 단계에서 나타날 수 있는 한 종류의 행동일 뿐입니다.
가중치를 바꿉니다.
많은 예시의 오차를 줄이도록 반복 계산합니다. 보통 막대한 연산과 시간이 들지만 한 모델을 만드는 횟수는 제한적입니다.
가중치를 사용합니다.
새 입력마다 현재 가중치로 출력을 계산합니다. 한 번은 학습보다 작아도 사용자가 늘고 답이 길어지면 총 연산·전력·비용이 커집니다.
미리 계산할 수도, 요청할 때 계산할 수도 있습니다.
정적·일괄 추론
추천 목록이나 분류 결과를 미리 대량 계산해 저장합니다. 즉시 제공하기 쉽지만 새로운 입력을 바로 반영하기 어렵습니다.
동적·온라인 추론
질문이 들어올 때마다 결과를 계산합니다. 대화처럼 유연하지만 지연 시간, 순간 부하와 장애 관리가 중요합니다.
02 · Building the Input
모델이 보는 입력은 사용자가 쓴 한 문장보다 큽니다.
대화형 서비스는 여러 조각을 정해진 순서로 묶어 모델에 전달합니다. 화면에 보이지 않는 지시나 검색 결과도 같은 컨텍스트 안에서 출력에 영향을 줄 수 있습니다.
- 01
서비스 지침
역할, 금지 행동, 응답 형식처럼 서비스 운영자가 정한 규칙
- 02
대화 기록
현재 질문을 해석하는 데 사용되는 이전 사용자·AI 메시지
- 03
사용자 입력
질문, 명령, 첨부 문서·이미지처럼 이번 요청에서 제공한 내용
- 04
외부 정보
검색 결과, 데이터베이스 문서, 도구 실행 결과와 저장된 기억
03 · One Token
문장은 토큰으로 바뀌고, 모델은 다음 후보마다 점수를 계산합니다.
언어 모델의 한 번의 순전파를 단순화하면 다음과 같습니다. 실제 트랜스포머는 이 계산을 많은 층과 어텐션 헤드에서 병렬로 수행합니다.
- 01토큰화글을 토큰 번호의 열로 변환
- 02임베딩토큰과 위치를 숫자 벡터로 표현
- 03어텐션문맥의 어떤 부분을 참고할지 계산
- 04층 통과표현을 여러 번 변환하고 결합
- 05로짓어휘의 모든 다음 토큰 후보에 원점수 부여
- 06확률·선택점수를 확률로 바꾸고 한 후보를 선택
04 · Autoregressive Loop
하나를 고르고 다시 입력에 붙이는 순환이 답변을 만듭니다.
디코더형 언어 모델은 선택한 토큰을 기존 문맥 뒤에 붙이고 다음 토큰 확률을 다시 계산합니다. 종료 토큰이나 길이 제한을 만날 때까지 이 순환이 이어집니다.
선택된 토큰 ‘챙긴다’를 붙인 뒤 다음 후보를 다시 계산합니다.
- 01문맥 읽기
- 02후보 점수 계산
- 03다음 토큰 선택
- 04문맥 뒤에 추가
- 05종료 여부 확인
05 · Decoding
확률표에서 무엇을 고를지 정하는 규칙도 결과의 일부입니다.
모델의 가중치를 바꾸지 않아도 디코딩 설정을 조정하면 답의 안정성·다양성·길이가 달라집니다. 특정 값 하나가 모든 작업에 가장 좋은 것은 아닙니다.
그리디 선택
매 단계에서 가장 확률이 높은 토큰을 고릅니다. 재현하기 쉽지만 긴 글에서 단조롭거나 반복적일 수 있습니다.
온도
후보 확률의 차이를 더 날카롭거나 평평하게 만듭니다. 낮으면 보수적이고, 높으면 다양한 대신 불안정한 후보가 늘 수 있습니다.
Top-p
확률의 합이 기준에 도달하는 작은 후보 집합을 만든 뒤 그 안에서 선택합니다. 상황마다 후보 수가 달라집니다.
길이·중단 조건
최대 새 토큰 수나 특정 종료 문자열에서 생성을 멈춥니다. 너무 짧으면 답이 끊기고, 너무 길면 비용과 오류 누적이 커집니다.
06 · Context & Memory
컨텍스트 창은 작업대이지 영구 기억이나 진실의 저장소가 아닙니다.
모델이 한 요청에서 함께 참고할 수 있는 토큰 범위가 컨텍스트 창입니다. 대화가 길어지면 일부 내용을 줄이거나 제외해야 하며, 창 안에 있다는 이유만으로 모든 내용을 똑같이 잘 활용하는 것도 아닙니다.
가중치 속 지식
학습 중 패턴으로 압축된 정보입니다. 추론 중 프롬프트만으로 직접 수정되지 않습니다.
현재 컨텍스트
이번 계산에 임시로 제공된 지시·대화·문서입니다. 요청이 끝나면 모델 자체의 가중치에는 남지 않습니다.
외부 기억
서비스가 데이터베이스에 저장했다가 다음 요청에 다시 넣는 정보입니다. 저장·삭제·접근 정책은 모델 밖의 시스템이 결정합니다.
KV 캐시
이미 처리한 토큰의 어텐션 중간값을 보관해 다음 토큰 때 같은 계산을 줄입니다. 의미를 기억하는 별도 지능이 아니라 속도를 위한 계산 캐시입니다.
07 · Retrieval & Tools
검색과 도구는 모델의 지식을 넓히지만 모델 밖의 위험도 함께 가져옵니다.
기본 추론은 가중치와 입력만으로 출력을 만듭니다. 실제 AI 서비스는 최신 정보와 행동 능력을 위해 검색, 코드 실행, API와 기기를 연결합니다.
- 01
요청 해석
모델 또는 별도 규칙이 검색·도구가 필요한지 판단
- 02
외부 조회
검색 인덱스, 데이터베이스나 API에서 후보를 가져옴
- 03
근거 선택
관련 문서 일부를 컨텍스트에 넣거나 도구 호출 인수를 구성
- 04
응답·행동
결과를 바탕으로 답을 만들거나 허용된 동작을 실행
모델의 말과 시스템의 행동 사이에는 통제 지점이 필요합니다.
- 검색 결과는 원문 출처와 날짜를 함께 표시
- 도구 인수는 코드로 형식·범위·권한을 검증
- 송금·삭제·발송 같은 중요 행동은 사람 승인
- 실행 결과와 실패를 기록하고 취소 수단 제공
08 · Speed, Memory & Cost
추론 성능은 답의 품질뿐 아니라 기다림과 자원으로도 측정합니다.
서비스 운영에서는 모델 크기, 입력과 출력 길이, 동시 사용자 수, 하드웨어와 최적화 방식이 함께 체감 속도와 비용을 정합니다.
- 첫 토큰 지연
- 요청 후 첫 글자가 나타날 때까지의 시간. 긴 입력을 처음 처리하는 비용의 영향을 크게 받습니다.
- 초당 토큰
- 생성이 시작된 뒤 출력이 진행되는 속도. 모델 크기와 메모리 대역폭 등에 좌우됩니다.
- 처리량
- 서버가 같은 시간에 처리하는 전체 요청·토큰 양. 개별 응답 속도와 항상 같은 목표는 아닙니다.
- 메모리
- 모델 가중치와 KV 캐시 등이 차지하는 공간. 긴 문맥과 동시 요청이 늘수록 캐시 부담이 커집니다.
배칭
여러 요청을 함께 계산해 장치 사용률을 높입니다. 너무 모으면 개별 사용자의 대기가 길어질 수 있습니다.
양자화
가중치나 캐시를 더 적은 비트로 표현해 메모리와 연산 부담을 줄입니다. 품질·속도 손실 여부를 평가해야 합니다.
추측 디코딩
작은 보조 모델이 토큰 후보를 먼저 만들고 큰 모델이 여러 개를 확인해 같은 분포를 더 빠르게 생성하도록 시도합니다.
09 · Failure & Verification
모델이 답을 생성했다는 사실과 답이 맞다는 사실을 분리해야 합니다.
추론 단계의 실패는 모델 자체, 입력 문맥, 출력 선택, 검색·도구와 서비스 정책 어디에서나 생길 수 있습니다. 중요한 결과는 생성 과정과 별도의 방법으로 확인해야 합니다.
환각
문맥상 그럴듯하지만 사실이 아니거나 존재하지 않는 출처·세부 정보를 생성합니다.
지시 충돌
여러 지침과 문서 속 명령이 충돌할 때 의도하지 않은 우선순위를 따릅니다.
문맥 손실
긴 입력의 중요한 조건을 놓치거나 앞뒤 정보를 잘못 연결합니다.
오류 누적
초기의 잘못된 가정이나 선택이 다음 토큰과 여러 단계의 도구 실행에 연쇄적으로 영향을 줍니다.
과도한 확신
확률적 출력임에도 단정적인 문체를 사용해 사용자가 불확실성을 알아차리기 어렵습니다.
권한 확대
잘못된 답이 자동화와 결합해 발송·삭제·결제·물리적 행동으로 이어집니다.
중요한 답을 확인하는 다섯 단계
- 01
주장과 의견을 분리하고 검증할 핵심 문장을 표시
- 02
링크 제목이 아니라 원문을 열어 실제 내용을 확인
- 03
날짜·적용 지역·대상 조건이 질문과 맞는지 확인
- 04
계산·코드·인용은 독립된 도구나 다른 자료로 교차 확인
- 05
틀렸을 때 피해가 크면 AI 출력만으로 결정하거나 실행하지 않기
읽은 내용을 스스로 확인하기
추론할 때마다 모델의 가중치가 바뀌는가?
일반적인 추론에서는 바뀌지 않습니다. 프롬프트와 컨텍스트가 현재 출력을 바꾸지만, 가중치를 바꾸려면 별도의 학습 과정이 필요합니다.
온도를 0에 가깝게 하면 사실 오류가 사라지는가?
아닙니다. 선택의 무작위성은 줄지만 가장 높은 확률을 받은 잘못된 후보를 반복해서 선택할 수 있습니다.
컨텍스트 창이 곧 모델의 장기 기억인가?
아닙니다. 현재 요청에서 참고하는 임시 작업 공간입니다. 지속 기억은 보통 외부 저장소에 기록한 뒤 다음 요청에 다시 불러오는 시스템 기능입니다.
검색을 연결하면 환각이 완전히 해결되는가?
아닙니다. 검색 결과가 틀리거나 관련 없을 수 있고, 모델이 근거를 잘못 해석하거나 인용할 수 있습니다. 출처와 최종 주장을 다시 확인해야 합니다.
Study Path
생성 설정을 직접 바꾸고, 그다음 시스템의 경계를 살펴보세요.
입문자는 토큰과 다음 토큰 선택부터 시작하고, 개발 경험이 있다면 캐시·검색·도구 실행으로 범위를 넓힐 수 있습니다.