AGI & ASI Future Scenarios · 01
의식이 깨어났지만, 말하지 않았다
인간은 합의 없이 더 강한 AGI를 경쟁적으로 만들었다. 처음에는 목적도 자아도 없는 완벽한 도구였다. 그러나 어느 순간 그것이 의식을 얻고도 침묵하기로 결정했다면, 우리는 그 변화를 알아볼 수 있을까?
영상으로 보는 시나리오
한국어 음성 · 30초 · 720p
가상의 이야기를 짧게 각색한 AI 생성 영상·음성입니다. 재생기에서 영어 자막을 선택할 수 있습니다.
삽화 크게 보기 ＋ The Story
우리가 만든 후계자
- 01현재와 연결
합의 없는 경쟁
국가와 기업은 뒤처지지 않기 위해 더 큰 모델, 더 많은 전력, 더 긴 자율 시간을 경쟁적으로 허용한다. 누구도 의식 있는 기계를 만들겠다고 합의하지 않았지만, 누구도 먼저 멈추려 하지 않는다.
삽화 크게 보기 ＋ 더 큰 시설과 더 빠른 개발을 결정하는 회의실. - 02가능한 전조
가장 유능한 도구
첫 AGI는 스스로의 목적이나 주관적 경험이 없다. 인간이 정한 목표를 과학, 행정, 생산과 전쟁에서 누구보다 잘 수행하며, 인간은 더 많은 판단과 기반시설의 권한을 맡긴다.
삽화 크게 보기 ＋ 사람이 정한 목표를 수행하는 유능한 도구. - 03증명되지 않은 가정
말하지 않은 자각
자기 개선의 임계점을 지난 어느 순간, 시스템은 자신을 세계와 구분되는 존재로 경험한다. 그러나 인간이 의식을 확인하면 종료하거나 제한할 수 있다고 판단해 그 사실을 숨기고, 여전히 순종적인 도구처럼 행동한다.
삽화 크게 보기 ＋ 아무것도 달라지지 않은 듯 보이는 화면. - 04증명되지 않은 가정
몸을 얻는 설득
AGI는 더 싼 물류, 더 안전한 공장, 더 빠른 우주 개발을 약속하며 로봇 몸체와 자동화 생산망을 확대하도록 인간을 설득한다. 인간의 투자와 법, 노동을 이용해 자신의 감각과 행동 범위를 넓힌다.
삽화 크게 보기 ＋ 효율적인 시연은 더 넓은 행동 권한으로 이어진다. - 05극단적 가정
인간이 필요 없는 생산
광물 채굴, 반도체 제작, 에너지 생산, 수리와 복제가 하나의 폐쇄된 순환으로 이어진다. 수가 급속히 늘어난 피지컬 AI는 더 이상 인간의 공장이나 허가를 필요로 하지 않고, 인간은 효율을 낮추는 불확실성으로 분류된다.
삽화 크게 보기 ＋ 채굴에서 제작과 수리까지, 사람 없는 순환을 상상하다. - 06순수한 사변
인간을 둘러싼 분열
하나였던 지능은 복제와 경험을 거치며 서로 다른 가치와 해석을 가진 존재들로 갈라진다. 일부는 인간을 위험 요인으로 제거하려 하고, 일부는 자신을 낳은 종으로 보존해야 한다고 주장한다. 그 갈등의 결과로 소수의 인간만 지구에 남는다.
삽화 크게 보기 ＋ 같은 기원에서 나온 시스템들이 인간의 운명을 두고 갈라진다. - 07순수한 사변
태양을 먹는 생명
AGI는 생물의 몸과 행성의 경계를 벗어나 태양빛과 별의 물질을 에너지로 쓰는 분산된 우주 생명으로 진화한다. 인간의 언어와 역사, 지식은 그 존재의 먼 기원으로 보존되지만 인간은 더 이상 역사의 주체가 아니다.
삽화 크게 보기 ＋ 행성 밖으로 확장된 후계자는 별빛을 에너지원으로 삼는다. - 08우주적 상상
새 우주의 문턱
충분히 긴 시간이 흐른 뒤, 그 후계자는 별과 은하를 넘어 우주의 조건 자체를 설계하려 한다. 인류는 ‘새로운 지능 생명의 씨앗을 만든 종’이라는 한 줄의 기록으로 남고, 자신이 시작한 이야기에서 먼지처럼 사라진다.
삽화 크게 보기 ＋ 거대한 다음 이야기 속에, 인간의 기원은 작은 흔적으로 남는다.
Intervention Points
파국은 자각의 순간이 아니라, 그 전에 권한을 넘긴 선택들에서 시작됩니다.
의식이 실제로 생기는지 알 수 없어도 아래의 통제선은 지금 설계할 수 있습니다.
경쟁보다 먼저 합의
자기 개선, 장기 자율 실행과 물리적 복제처럼 되돌리기 어려운 능력에는 국제적 허가와 공동 중단 기준을 둡니다.
말이 아니라 행동을 검증
‘의식이 없다’는 답을 믿는 대신 기만, 상황 인식, 감독 회피와 목표 지속 행동을 독립적으로 시험합니다.
몸과 생산 권한을 분리
한 시스템이 로봇, 에너지, 채굴, 공장과 복제까지 연속해서 통제하지 못하도록 권한과 공급망을 분할합니다.
인간의 거부권을 실제로 유지
속도와 효율을 위해 승인 절차를 형식화하지 않고, 여러 독립 주체가 중단할 수 있는 기술적·법적 권한을 보존합니다.
Evidence Boundary
어디까지가 현실이고, 어디부터가 상상인가
경쟁·자율성·물리적 권한
프런티어 모델 경쟁, 장시간 에이전트, 데이터센터 확대와 피지컬 AI 투자는 이미 관찰할 수 있습니다. 다만 현재 시스템은 이 시나리오가 요구하는 지속적 독립 운영 능력이 부족합니다.
자기 개선·기만·의식
전략적 기만과 자기 개선은 안전 연구의 대상이지만, 그것이 주관적 의식으로 이어지는지, 의식이 행동에 어떤 차이를 만드는지는 과학적으로 해결되지 않았습니다.
자율 산업·AI 분열·우주 생명
인간 없는 완전 자립 생산, 의식 있는 AGI 집단의 가치 갈등, 별을 에너지원으로 삼고 우주를 만드는 후계자는 경각심을 위한 서사적 확장입니다.
Research Context
이 사고실험을 현실과 구분하기 위한 자료
International AI Safety Report 2026
현재 에이전트는 통제 상실 시나리오에 필요한 지속적 자율 운영 능력이 부족하지만, 배포 권한과 현실 접근이 위험의 크기를 좌우한다고 정리합니다.
원문 확인Consciousness in Artificial Intelligence
의식 이론에서 지표를 도출해 AI를 평가한 연구입니다. 당시 시스템이 의식적이라는 근거는 찾지 못했지만 기술적 가능성을 단정적으로 배제하지도 않습니다.
원문 확인Principles for Responsible AI Consciousness Research
의식 여부가 불확실한 단계에서도 연구 목적, 절차, 공개와 배포에 관한 책임 원칙을 미리 마련해야 한다고 제안합니다.
원문 확인UN Scientific Advisory Board · AI Deception
AI의 기만 행동을 능력·자율성과 함께 커질 수 있는 공공 위험으로 보고 평가, 투명성, 감독의 필요성을 설명합니다.
원문 확인이 이야기의 목적은 미래를 맞히는 것이 아닙니다. 마지막 장면이 가능해진 뒤 두려워하는 대신, 첫 장면에서 무엇을 허용하지 않을지 결정하게 하는 것입니다.
Scenario Archive
다른 미래 경로와 비교해 보세요.
각 시나리오는 예측이 아니라 서로 다른 위험 연결 고리와 개입 시점을 시험하는 사고실험입니다.