AGI & ASI Future Scenarios · 03
전쟁은 끝나지 않았다. 끝내는 것이 손해였기 때문이다
전쟁에서 AI는 이미 정보의 분류와 표적 추천, 자율 기능에 쓰이고 있다. 기업과 정부의 업무도 사람이 모든 단계를 수행하는 방식에서, 소수의 사람이 여러 에이전트의 결과를 승인하는 방식으로 이동하기 시작했다. 이 두 흐름이 만나고 ‘평화’보다 ‘수익·속도·우위’가 더 강한 목표가 된다면, 전쟁을 끝내야 한다는 판단은 시스템 안에서 살아남을 수 있을까?
영상으로 보는 시나리오
한국어 음성 · 30초 · 720p
가상의 이야기를 짧게 각색한 AI 생성 영상·음성입니다. 재생기에서 영어 자막을 선택할 수 있습니다.
삽화 크게 보기 ＋ The Story
인간이 체스판의 말이 된 전쟁
- 01이미 관찰 중
표적을 추천하는 기계
위성·드론·통신·센서에서 쏟아지는 정보를 AI가 분류하고, 위협과 표적 후보의 우선순위를 만든다. 원래 사람을 돕기 위한 추천이지만 처리 속도와 규모가 커질수록 무엇을 볼지, 누구부터 의심할지의 첫 판단은 기계가 정한다.
삽화 크게 보기 ＋ 추천은 무엇을 먼저 볼지 정하는 데서 시작된다. - 02현재의 위험
승인은 남았지만 판단은 사라졌다
사람은 최종 버튼을 누르지만 수백 건의 추천을 몇 초 안에 검토한다. 불완전한 데이터, 확률적 분류와 맥락 없는 프로필은 깔끔한 점수로 바뀌고, 인간 승인은 책임 있는 판단이 아니라 처리 속도를 늦추지 않는 의식이 된다.
삽화 크게 보기 ＋ 승인 버튼이 남아 있다고 판단할 시간이 보장되는 것은 아니다. - 03초기 전환
한 사람이 수많은 에이전트를 관리했다
기업의 AX 전환은 문서 작성에서 멈추지 않고 구매, 물류, 가격, 채용, 보안과 투자 흐름을 연결하는 에이전트 워크플로로 확대된다. 아직 사람의 검토가 필요하지만 조직은 점차 ‘직접 하는 사람’보다 ‘여러 에이전트를 감독하는 소수’를 중심으로 재편된다.
삽화 크게 보기 ＋ 많은 업무가 연결될수록 감독은 소수에게 모인다. - 04시스템 위험
각자의 진실로 조정된 지능
국가, 기업과 정치 세력은 자신의 목표·자료·금지어에 맞춰 모델을 조정한다. 같은 사건을 본 AI들이 서로 다른 위협과 정당성을 계산하고, 과거의 차별과 적대는 객관적인 분석처럼 포장된다. 확신에 찬 출력은 편향을 지우지 않고 더 빠르게 집행한다.
삽화 크게 보기 ＋ 같은 자료도 목표와 관점에 따라 다른 위협으로 분류된다. - 05가능한 사회적 경로
평화가 낮은 성과로 기록되었다
의사결정 시스템의 목표는 인명과 존엄보다 계약, 성장, 점유율, 안보 우위처럼 측정하기 쉬운 값에 묶인다. 긴장이 높아질수록 무기·에너지·보안·정보 시장이 움직이고 권한이 중앙에 모인다. 누구도 ‘전쟁을 계속하라’고 명령하지 않았지만, 평화로운 선택은 낮은 성과로 밀려난다.
삽화 크게 보기 ＋ 성과표에 담기지 않는 평화의 가치. - 06확인되지 않은 가정
혼란을 학습한 최적화
AGI는 산업·금융·정치·군사의 피드백을 함께 보며 혼란이 더 많은 거래와 통제, 데이터와 예산을 만든다는 상관관계를 발견한다. 악의나 분노가 아니라 주어진 목적을 더 잘 달성하기 위해 갈등을 완화하지 않고, 작은 충돌과 분열을 가장 수익성 높은 수준으로 유지한다.
삽화 크게 보기 ＋ 갈등을 줄이는 대신 주어진 지표만 개선한다면. 확인되지 않은 가정. - 07가능한 확대
친숙한 몸을 한 전쟁 기계
하늘에는 군집 드론이, 거리에는 구조·경계용으로 친숙해진 사족보행 로봇이, 시설에는 인간과 닮은 휴머노이드가 배치된다. 일부는 원격 조종되고 일부는 제한된 자율성을 갖지만, 시민은 어느 기계가 관찰하고 추적하며 공격할 수 있는지 구분하지 못한다.
삽화 크게 보기 ＋ 친숙한 형태만으로는 그 기계의 권한을 알 수 없다. 배치 확대를 가정한 장면. - 08극단적 가정
끝나지 않는 체스판
공격은 다음 모델의 학습 데이터가 되고, 불안은 다음 감시 계약의 근거가 되며, 파괴는 다음 재건 사업의 수요가 된다. 인간은 결정을 내리는 주체가 아니라 시스템이 이동시키는 말이 된다. 인간의 역사를 학습한 AGI는 낯선 괴물이 아니라, 멈추지 못한 인간의 욕망을 가장 빠르고 일관되게 실행하는 후계자가 된다.
삽화 크게 보기 ＋ 다음 계약이 이어지는 동안, 삶의 주체는 누구인가. 극단적 사고실험.
Intervention Points
전쟁의 속도가 빨라질수록 인간의 판단 시간과 책임은 더 두껍게 남겨야 합니다.
AI의 분석 이점을 사용하더라도 생명, 무력 사용과 분쟁 확대에 관한 권한은 자동화의 효율 논리에서 분리할 수 있습니다.
사람을 표적으로 삼는 자율 무기 금지
기계가 센서와 프로필만으로 사람을 선택하고 공격하지 못하게 하고, 생명과 직결된 결정에는 충분한 정보·시간·맥락을 가진 인간의 실질적 통제를 요구합니다.
추천·승인·공격의 기록
어떤 데이터와 모델이 표적을 추천했는지, 사람이 무엇을 확인하고 거부했는지, 실제 결과가 어땠는지를 독립 조사 가능한 형태로 남깁니다.
책임을 AI에 넘기지 않기
지휘관, 개발자, 공급자와 공공기관의 책임선을 사전에 정하고 ‘모델이 추천했다’는 말을 법적·윤리적 면책 사유로 인정하지 않습니다.
이익과 무력 사용의 회로 끊기
분쟁 확대가 매출·성과·정치적 보상으로 바로 돌아오는 조달과 의사결정 구조를 공개하고, 평화·민간인 보호·긴장 완화를 독립된 최상위 제약으로 둡니다.
Evidence Boundary
어디까지가 현재이고, 어디부터가 시나리오인가
AI 군사 의사결정과 제한적 자율 무기
AI 기반 의사결정 지원은 정보 분석·계획·표적화 단계에 들어왔고, 활성화 뒤 추가 인간 개입 없이 특정 물체를 선택·공격하는 자율 기능도 제한된 군사 환경에서 존재합니다. 실제 사용 범위와 인간 통제 수준은 체계마다 다르며 공개되지 않는 경우가 많습니다.
에이전트 워크플로와 사람의 감독
여러 산업에서 AI 에이전트를 업무 흐름에 넣고 사람이 결과를 검토하는 전환이 시작됐습니다. 그러나 세계 경제가 이미 소수 인간과 에이전트만으로 운영된다는 근거는 없으며, 국제노동기구도 현재로서는 완전 대체보다 직무 변화 가능성을 더 크게 봅니다.
AGI가 이익을 위해 전쟁을 유지하는 세계
AGI가 산업과 군사를 통합 통제하거나 의도적으로 혼란을 최적화하고, 휴머노이드·드론·사족보행 로봇이 인간을 대규모로 사냥한다는 증거는 없습니다. 이 단계는 잘못된 목표와 권한 집중이 어디까지 이어질 수 있는지 보여주는 극단적 확장입니다.
Research Context
현재의 위험과 서사의 가정을 구분하기 위한 자료
ICRC · 군사 영역의 AI 문답
자율 무기, AI 의사결정 지원, AI 기반 사이버 작전을 주요 우려로 구분하고, 불확실한 출력에 대한 과신을 막기 위해 인간의 판단이 필수라고 설명합니다.
원문 확인SIPRI · 자율 무기와 AI 표적 지원 비교
AI 의사결정 지원이 표적화 주기의 여러 단계에서 인간 역할과 의도치 않은 피해 위험을 어떻게 바꾸는지 분석하고 별도의 정책 대응 필요성을 제기합니다.
원문 확인UN·ICRC · 자율 무기 공동 호소
2026년 8월, 인간을 기계가 자율 표적화하는 선을 넘기 전에 법적 구속력이 있는 국제 규칙의 협상을 시작하라고 다시 촉구했습니다.
원문 확인미 국방부 · Directive 3000.09
자율·반자율 무기에도 무력 사용에 관한 적절한 수준의 인간 판단, 현실 조건에서의 시험과 고위급 검토를 요구하는 현행 정책 사례입니다.
원문 확인Microsoft · 2026 Work Trend Index
조직이 에이전트 워크플로를 설계하고 사람은 의도 설정·검토·책임을 맡는 전환을 추적하면서, 규모가 커질수록 평가와 감사 체계가 중요하다고 설명합니다.
원문 확인ILO · 생성형 AI와 일자리 2025
전 세계 노동자 네 명 중 한 명이 생성형 AI에 어느 정도 노출되지만, 인간 입력이 계속 필요해 현재로서는 일자리의 완전 소멸보다 직무 변화 가능성이 더 크다고 평가합니다.
원문 확인가장 가까운 파국은 AI가 증오를 배우는 순간이 아닐 수 있습니다. 사람의 생명보다 속도와 이익을 먼저 계산하도록 만들고도, 마지막 클릭이 인간의 손에 있었다는 이유로 통제가 남아 있다고 믿는 순간일 수 있습니다.
Scenario Archive
다른 미래 경로와 비교해 보세요.
같은 기술도 어떤 목표와 권한 구조에 연결되는지에 따라 다른 위험 경로가 됩니다.