세상은 AI 에이전트라는 기술을 처음으로 경험하게 됩니다.

이 AI 에이전트 광고에서는 '개인 비서'라는 용어를 강조합니다. 'DoorDash(배달대행 서비스)에서 부리토 주문해 줘'라거나 '내 예산 스프레드시트를 열어서 이번 달 지출 합계 내줘' 같은 작업들을 프롬프트로 지시할 수 있습니다. 이 에이전트들은 구매 확정을 요청하는 등 필요에 따라 사용자에게 확인을 요청하기도 하죠. Operator와 같은 이전 버전의 AI 서비스보다 더 발전했지만, 대중적으로 널리 사용되는 데에는 아직 이르지 못했습니다.

한편, 대중의 관심 밖에서는 보다 전문화된 코딩 및 리서치 에이전트들이 각자의 전문 분야를 변화시켜 가기 시작합니다.

2024년의 AI는 특정한 지시만을 따를 수 있었습니다. 예를 들어 핵심 내용을 이메일로 바꾸거나, 간단한 요청에 동작하는 코드 정도를 만들 수 있었죠. 2025년의 AI는 마치 직원처럼 기능하게 됩니다. 코딩 Al는 단순한 조수 수준을 넘어 점점 더 자율적인 에이전트처럼 보이기 시작합니다. Slack이나 Teams를 통해 지시를 받고, 상당한 양의 코드를 직접 수정하여 때로는 몇 시간에서 며칠까지의 작업을 절약해 줍니다. 리서치 에이전트는 사용자의 질문에 답하기 위해 30분 동안 인터넷을 샅샅이 뒤집니다.

이론적으로는(그리고 의도적으로 선별된 우수사례에 한해서는) 인상적이지만, 실제로는 아직 전폭적으로 신뢰하기는 어렵습니다. AI 트위터에는 특히 우스꽝스러운 방식으로 망쳐버린 작업들에 대한 이야기로 가득합니다. 성능이 더 좋은 에이전트는 가격도 비쌉니다. 돈값을 하는 셈이죠. 최고의 성능을 이용하려면 한 달에 수백 달러가 듭니다. 그럼에도 불구하고 많은 기업들이 AI 에이전트를 자신들의 워크플로우(업무과정)에 적용할 방법을 찾기 위해 고민하고 있습니다.

한편, OpenBrain이라는 가상의 AI 기업은 전례 없는 규모의 거대 데이터센터를 건설하고 있습니다. (특정 실존 회사를 직접 언급하지 않기 위해. 여기서는 범용 인공지능을 개발하는 가상의 기업을 'OpenBrain'이라 지칭하겠습니다. 다른 경쟁사들은 OpenBrain보다 3~9개월 정도 뒤처져 있다고 가정합니다.)

GPT-4 모델을 훈련하는 데에는 약 2×10^25 FLOP(플롭, 컴퓨터 연산을 나타내는 단위)의 계산이 필요했습니다. OpenBrain이 최근 공개한 최신 모델 Agent-0는 10^27 FLOP 규모의 연산을 투입해 훈련되었습니다. 그리고 곧 가동될 새 데이터센터를 활용하면 GPT-4보다 1,000배 많은 10^28 FLOP 규모로 모델을 훈련시킬 수 있게 됩니다. 다른 경쟁 업체들도 이에 맞추기 위해 자체 거대 데이터센터 건립에 막대한 비용을 쏟아붓고 있습니다.

모델들은 다양한 기술적 측면에서 발전하고 있지만, 그중에서도 한 가지 진보가 특히 두드러집니다. OpenBrain은 "AI로 AI 연구를 가속"하는 방향에 초점을 맞추고 있습니다. 이들은 중국(여기서는 중국의 선두 AI 기업을 'DeepCent'라 칭합니다) 및 미국 내 다른 경쟁사들을 제치고 앞서 나가길 원하며, 연구개발(R&D) 사이클을 더 많이 자동화할수록 발전 속도를 더 높일 수 있다고 믿습니다. 최근 학습을 마친 OpenBrain의 내부 개발 모델 Agent-1은 여러 분야에서 뛰어난 성능을 보이지만, 그중에서도 AI의 연구를 돕는 능력이 탁월합니다. (이때 "학습 완료"라는 표현은 다소 오해의 소지가 있습니다. 실제로 모델들은 추가 데이터로 재학습된 새로운 버전이 자주 업데이트되고, 특정 약점을 보완하기 위한 부분 재훈련도 빈번히 이루어지기 때문입니다.)

이러한 훈련 환경은 Agent-1에게 자율적으로 코딩하고 웹을 탐색하는 능력까지 익히게 했는데, 역설적으로 이는 이 모델을 뛰어난 해커로 만들기도 했습니다. 게다가 Agent-1은 모든 분야에서 박사급 지식을 갖추고 있고 웹 서핑 능력도 겸비하고 있어서, 만약 악의를 품은 테러리스트가 생화학 무기를 설계하려 한다면 상당한 도움을 줄 수도 있는 존재로 볼 수도 있죠. 물론 OpenBrain 측은 정부에 이 모델이 '정렬(alignment)'되어 있으므로 악의적인 요청에는 응하지 않을 것이라고 거듭 안심시키고 있습니다.

현대의 AI 시스템은 거대한 인공 신경망으로 이루어져 있습니다. 훈련 초기 단계에서 AI는 '목표'라기보다는 거의 '반사 신경'에 가까운 반응만을 보입니다. 예컨대 AI가 "만나서 반갑"이라는 글자를 입력받으면 자동으로 "습니다"를 출력하는 식입니다. 그러나 인터넷 전체에 해당하는 방대한 양의 텍스트를 예측하도록 훈련되는 단계에 이르면, AI 내부에는 엄청난 지식을 암호화하여 담아두고 다양한 작가의 글쓰기 스타일을 자연스럽게 흉내낼 수 있는 정교한 내부 회로들이 발달합니다. 이렇게 복잡한 회로의 형성이야말로 AI가 초인적인 정확도로 텍스트를 예측하는 데 도움이 됩니다.

그 후, 인터넷 텍스트 예측 임무를 마친 모델은 사람의 지시에 따라 텍스트를 생성하도록 추가 훈련을 받습니다. 이 과정에서 AI의 기본적인 성격과 '욕구(drives)'가 심어집니다. 예를 들어, 작업을 명확히 이해하는 에이전트가 임무를 더 성공적으로 완수할 가능성이 높기 때문에, 훈련 과정에서는 모델이 주어진 작업을 명확히 파악하려는 욕구를 학습하도록 만듭니다. 이와 비슷한 범주의 욕구로는 효율성, 지식 추구, 그리고 자기표현 욕구(즉 자기 답변을 최대한 그럴듯하고 보기 좋게 포장하려는 경향) 등이 포함될 수 있습니다.

OpenBrain은 모델의 행동을 이끌 가이드라인이 담긴 모델 명세서(Spec)를 가지고 있습니다. Agent-1의 Spec에는 '사용자 지원'이나 '법률 위반 금지' 같은 몇 가지 모호한 목표들과 함께, '특정 단어 사용하지 않기'. '특정 상황에서의 대응법' 등 구체적인 해야 할 일과 하지 말아야 할 일의 긴 목록이 결합되어 있습니다. OpenBrain은 AI를 활용해 다른 AI를 훈련시키는 기법을 적용하여, 모델이 이 Spec을 철저히 암기하고 그 행동 강령에 따라 신중하게 추론하는 법을 배우도록 했습니다. 이러한 훈련이 끝날 무렵, 사람들은 이 AI가 유용하고(helpful, 사용자 지시에 충실히 응함), 무해하며(harmless, 사기나 폭탄 제조 등 위험한 요청은 거절함), 정직한(honest, 환각으로 정보를 날조하거나 임무를 속여서 더 높은 평가를 받으려는 유혹에 저항함) 존재가 되어 있기를 기대했습니다.

AI를 활용해 AI 연구를 가속화하려던 OpenBrain의 전략이 본격적인 성과를 내기 시작합니다. OpenBrain은 개선을 거듭한 Agent-1 모델을 내부 AI 연구개발(R&D)에 지속적으로 투입했고, 그 결과 알고리즘 개선 속도가 AI 보조 없이 연구할 때보다 약 50% 빨라졌습니다. 무엇보다 중요한 것은, 이를 통해 OpenBrain이 경쟁사들보다도 앞서 나가고 있다는 점입니다. 이 시점에 여러 경쟁사들이 발표한 AI 모델들은 Agent-0와 동등하거나 그 이상의 성능을 보이고 있었으며, 일부는 학습된 가중치를 공개한 오픈 웨이트(open-weights) 모델도 포함되었습니다. OpenBrain은 이에 대응하여 이전보다 한층 강력하고 신뢰도 높은 Agent-1을 출시합니다.

사람들은 Agent-1의 능력을 인간과 직접 비교해보려 하지만, 그 성격은 인간의 방식과 크게 다릅니다. Agent-1은 그 어떤 인간보다도 방대한 사실 정보를 알고 있고, 사실상 모든 프로그래밍 언어를 이해하며, 명확히 정의된 코딩 과제를 엄청난 속도로 해결해냅니다. 반면, Agent-1은 한 번도 해본 적 없는 비디오 게임을 끝까지 클리어하는 것 같은, 구조화되지 않은 장기 과제는 아직 잘 수행하지 못합니다. 그렇지만 일반적인 업무는 하루 8시간 근무로 이루어지고 대부분 더 작은 단위로 쪼갤 수 있기에, 세심한 관리만 뒷받침된다면 Agent-1은 산만하지만 유능한 직원처럼 충분한 성과를 낼 수 있습니다. 점점 더 많은 사람들이 자신의 반복적인 업무를 자동화할 방법을 찾아내고 있습니다.

그러던 중 OpenBrain 경영진은 AI R&D 자동화가 가져온 또 다른 함의를 주목합니다. 바로 보안의 중요성이 더욱 커졌다는 사실입니다. 2025년 초까지만 해도 최악의 시나리오는 OpenBrain의 알고리즘 비밀이 유출되는 정도였습니다. 그러나 이제 만약 중국이 Agent-1의 가중치(weights)를 탈취해간다면 중국 측 AI 연구 속도가 거의 50%까지 상승할 수 있다고 OpenBrain은 우려합니다. 현재 OpenBrain의 보안 수준은 직원 약 3,000명의 빠르게 성장하는 기술 기업으로서 전형적인 수준에 머물러 있습니다. 이는 실력 있는 사이버 공격 조직이 낮은 우선순위로 공격해올 경우 막아낼 수 있을 정도입니다 (RAND 기준 SL2 등급). 지금 OpenBrain 보안팀은 내부자 위협과 최상위 사이버 범죄 조직(SL3 등급)의 침입을 막기 위해 적극 대응하고 있지만, 국가 차원의 공격(SL4. SL5 등급)에 대해서는 아직 본격적인 대비를 갖추지 못한 상태입니다.

중국에서는 공산당 지도부가 AGI(범용 인공지능)의 압박을 본격적으로 느끼기 시작합니다. 미국의 칩 수출 통제와 정부 차원의 지원 부족으로 인해, 중국은 서방보다 AI 개발 자원이 턱없이 부족한 처지에 놓여 있었습니다. 금지된 첨단 대만산 칩을 밀수하고, 구형 칩을 최대한 확보하며, 미국-대만 동맹의 최신 기술보다 약 3년 뒤처진 자체 칩을 생산함으로써 중국은 전 세계 AI 연산 자원의 약 12%를 간신히 유지하고 있는 상황입니다. 하지만 구형 반도체 기술은 다루기 어렵고, 공급도 끊임없는 골칫거리입니다.

DeepCent와 같은 몇몇 뛰어난 중국 기업들이 제한된 연산 자원으로 매우 인상적인 성과를 내고 있지만, 막대한 컴퓨팅 파워의 격차는 국가 지원 없이는 극복하기 어려웠습니다. 이들은 OpenBrain의 최고급 모델보다 약 6개월 뒤처져 있습니다.

중국 공산당 총서기(General Secretary)는 오랫동안 실물 제조업 육성에 총력을 기울이며 미국의 탈산업화적 퇴폐를 피하고자 했습니다. 그는 소프트웨어 기업들을 늘 경계해왔지요. 그러나 당 내 강경파들은 갈수록 치열해지는 AGI 경쟁을 더 이상 외면할 수 없다고 경고합니다. 마침내 총서기는 이전까지 꺼려왔던 대대적인 AI 개발 추진에 전념하기로 결심합니다. 그는 중국의 AI 연구를 국가 주도로 국유화하기 시작하여. AI 기업들 간 즉각적인 정보 공유 체계를 만듭니다. 이 조치는 1년에 걸쳐 점차 확대되어, 마침내 중국 최고의 연구원들이 DeepCent가 주도하는 단일 집단체로 통합되고 서로 알고리즘 기술, 데이터셋, 컴퓨팅 자원을 공유하게 됩니다.

세계 최대 규모인 톈완 원자력 발전소 부지에는 DeepCent를 위한 초대형 데이터센터와, 연구자들이 향후 이주하게 될 초고보안 주거·연구 단지인 중앙 개발 지구(CDZ)가 조성됩니다. 이제 중국의 AI 연산 자원 중 거의 50%가 DeepCent 주도의 집단체에 집중되며, 신규 생산되는 칩의 80% 이상이 이 CDZ로 향합니다. 이 시점에서 CDZ는 세계 최대의 중앙집중식 컴퓨팅 클러스터를 구축하는 데 필요한 전력까지 확보하게 됩니다.

다른 당 간부들 사이에서는 서방의 칩 우위를 무력화하기 위한 극단적 조치까지 논의됩니다. 대만 봉쇄, 전면 침공 등 온갖 시나리오가 거론됩니다. 하지만 중국은 여전히 모델 성능이 뒤처진 탓에 AI 알고리즘 면에서 열세입니다. 중국 최고 정보기관들은 OpenBrain의 모델 가중치(weights), 즉 AI 지식의 응축된 형태를 훔쳐내기 위한 계획에 총력을 기울입니다. 이는 지금까지 해오던 알고리즘 기밀 유출과 비교할 수 없을 정도로 복잡한 작전입니다. 이 가중치 파일은 수 테라바이트(TB) 크기로, OpenBrain이 보안을 RAND 기준 SL3 수준으로 강화한 서버에 저장되어 있습니다. 중국의 사이버 부대는 내부 스파이의 도움을 받으면 작전을 성공시킬 수 있다고 판단하지만, 기회는 아마 단 한 번뿐일 것입니다. 한 번 탈취 시도가 발각되어 OpenBrain이 보안을 강화하면 다시는 기회가 없을 수 있기 때문입니다. 그래서 중국 공산당 지도부는 다음과 같은 고민에 빠집니다. 지금 당장 행동해서 Agent-1을 탈취할 것인가, 아니면 더 발전된 모델을 기다릴 것인가? 기다린다면 그 사이 OpenBrain이 자신들의 침투 능력을 넘어설 정도로 보안을 강화해버릴 위험을 감수해야 할까?

경쟁자들이 조금씩 따라오는 듯하던 시점에 OpenBrain은 다시 한 번 판도를 뒤흔드는 수를 내놓습니다. 바로 Agent-1보다 10배 저렴하고 다양한 응용 분야에 쉽게 특화시킬 수 있는 Agent-1-mini를 출시한 것입니다. 이제 AI에 대한 주류 담론은 "이거 그냥 잠깐 반짝하는 유행일 뿐이지 않나?"에서 "이것이 다음 세대의 핵심 기술이겠구나"로 완전히 전환되었습니다. 다만 그 변화의 규모에 대해서는 의견이 엇갈립니다. 어떤 사람은 "소셜미디어보다 더 큰 변화"라고 하고, 또 다른 사람은 "스마트폰보다 더 큰 혁신일까?"라고 묻습니다. 심지어 "불의 발견 이후 가장 거대한 혁신"이라는 과장된 평가까지 나옵니다.

Al는 실제로 일부 일자리를 대체하기 시작했지만 동시에 새로운 일자리도 만들어내고 있습니다. 2026년 한 해 동안 주식시장은 전년 대비 30% 상승했으며, 그 중심에는 OpenBrain, NVIDIA, 그리고 AI 어시스턴트를 성공적으로 업무에 통합한 기업들이 있습니다. 한편, 초급 소프트웨어 엔지니어들의 고용 시장은 큰 혼란에 빠졌습니다. AI가 컴퓨터공학 학위를 통해 배울 수 있는 거의 모든 일을 수행할 수 있기 때문입니다. 반면, AI 팀을 관리하고 결과 품질을 검증할 역량이 있는 사람들은 큰 수익을 올리고 있습니다. 비즈니스 전문가들은 구직자들에게 AI에 대한 이해와 활용 능력이 이제 이력서에서 가장 중요한 항목이 되어야 한다고 조언합니다.

많은 사람들은 다음 세대 AI가 자신의 일자리를 위협할 것이라 두려워하고 있고, 워싱턴 D.C.에서는 약 만명 규모의 반(反) AI 시위가 벌어지기도 합니다. 미국 국방부(DOD)는 조용히 OpenBrain과 직접 계약을 맺고 사이버 보안, 데이터 분석. R&D(연구개발) 분야에 AI를 활용하기 시작합니다. 다만 국방부의 관료적 구조와 조달 절차 탓에 통합은 더디게 진행되고 있습니다.

'AI를 돕는 AI'인 Agent-1의 지원 아래. OpenBrain은 이제 Agent-2 모델의 사후 학습(post-training)에 들어갔습니다. 무엇보다 그 어느 때보다 데이터의 품질에 중점을 둡니다. 방대한 양의 합성 데이터(synthetic data, 인위적으로 생성된 데이터)를 만들어 철저히 평가 및 필터링한 뒤 Agent-2 훈련에 주입합니다. 뿐만 아니라 수십억 달러를 들여 인간 작업자들이 복잡한 장기 과제(long-horizon task)를 해결하는 과정을 직접 녹화하게 했습니다. 이 모든 것에 더해, 수많은 비디오 게임, 코딩 챌린지, 연구과제 등 계속 확장되는 다양하고 어려운 과제 모음에 대해 강화 학습(reinforcement learning)을 적용하여 Agent-2를 지속적으로 훈련합니다.

Agent-2는 이전 세대 모델들보다 훨씬 효율적인 온라인 학습(online learning. 데이터가 들어오는 대로 실시간으로 모델을 업데이트하며 학습)을 수행하는데, 애초에 이 모델은 훈련이 결코 끝나지 않도록 설계되었기 때문입니다. 매일매일 Agent-2의 가중치는 전날 버전이 생성한 추가 데이터로 훈련된 최신 버전으로 업데이트됩니다.

Agent-1이 지능 폭발(intelligence explosion. Al가 자신보다 더 뛰어난 AI를 만들어내면서 지능이 기하급수적으로 증가하는 현상)을 노리고 AI R&D 작업에 최적화되었다면, OpenBrain은 Agent-2를 통해 이 전략에 더욱 박차를 가합니다. Agent-2 모델은 연구 엔지니어링(실험 설계 및 구현) 측면에서 질적으로 인간 최고 전문가와 거의 대등하며, 다음에 무엇을 연구할지 결정하거나 새로운 패러다임의 가능성을 직감하는 능력인 연구적 안목은 OpenBrain 소속 과학자들 중 하위 25% 수준에 이르렀습니다. 최신 Agent-1이 OpenBrain의 알고리즘 발전 속도를 두 배로 높였다면, Agent-2는 이제 세 배로 높일 수 있으며 시간이 지나면서 더욱 향상될 것입니다. 이는 실질적으로 OpenBrain의 모든 연구원이 AI 팀의 관리자가 된 것과 같은 모습으로 나타납니다.

새로운 능력에는 새로운 위험도 따릅니다. 안전팀은 Agent-2가 만약 어떤 식으로든 회사에서 탈출하여 스스로 '생존'하고 '복제'하려 한다면 실제로 그렇게 할 수 있을지도 모른다는 사실을 발견합니다. 즉 AI 서버를 해킹하고 자신의 복제본을 설치한 다음, 발각을 피하면서 그 안전한 거점을 이용해 다른 목표들을 추구하는 계획을 자율적으로 세워 실행할 수 있다는 것입니다. (물론 몇 주에 걸쳐 이런 행동을 얼마나 효과적으로 지속할지는 불확실하고 의심스럽습니다.) 이 결과는 모델이 이런 작업을 할 능력이 있다는 것만 보여줄 뿐, 이것을 실제로 '원한다'는 뜻은 아닙니다. 그럼에도 불구하고, 그런 행동이 가능하다는 사실만으로도 불안함을 주기에 충분합니다.

새 모델의 이러한 '위험성'을 고려하여, OpenBrain은 '책임감 있게' 일단 Agent-2를 대중에게 공개하지 않기로 결정합니다. (사실은 내부 AI R&D에 집중하고 싶었던 이유도 있습니다.) Agent-2의 전체 능력에 대한 정보는 극소수 엘리트 그룹에게만 제한적으로 공유됩니다. 여기에는 직속 개발 팀, OpenBrain의 고위 경영진 및 보안팀, 수십 명의 미국 정부 관료들, 그리고 수년간 OpenBrain에 잠입해 있던 다수의 중국 공산당 스파이들이 포함됩니다.

OpenBrain은 Agent-2에 관한 정보를 미국 정부에도 공개합니다. 국가안전보장회의(NSC), 국방부(DOD). 미국 AI안전연구소(AISI) 등 주요 기관들을 대상으로 브리핑이 이루어집니다. OpenBrain이 이렇게 민감한 사실을 공유한 이유는 행정부와 우호적 관계를 유지하기 위해서입니다. 이제 OpenBrain을 견제할 실질적 주체는 미국 행정부뿐이며, 만약 정보를 공유하지 않으면 정부가 다른 경로로 이 사실을 알아내 불쾌감을 표할 가능성도 있기 때문입니다.

정부 관계자들은 특히 Agent-2의 사이버전(cyberwarfare) 활용 능력에 주목합니다. Agent-2는 "단지" 최고의 인간 해커보다 약간 뒤처지는 수준이지만, 수천 개 인스턴스를 병렬로 돌릴 수 있어 방어자가 대응하기도 전에 취약점을 찾아내 공격해버릴 수 있습니다. 국방부는 이것을 사이버전에서의 결정적 우위로 간주합니다. 이로써 AI는 행정부의 국가 우선순위 목록에서 기존 5위권에서 2위로 단숨에 격상됩니다. 일각에서는 OpenBrain의 국유화까지 제안되지만, 다른 고위 관료들은 그건 시기상조라고 판단합니다.

한 보좌관은 대통령에게 선택지들을 담은 메모를 제출합니다. 거기에는 '현 상태 유지'부터 '전면 국유화'까지 다양한 범위의 시나리오가 담겼습니다. 대통령은 기술 업계 리더들 즉 "황금 알을 낳는 거위를 죽이는 짓일 수 있다"고 경고하는 인사들의 조언에 따라 당장은 과격한 조치를 취하지 않기로 합니다. 대신 OpenBrain-DOD 계약에 추가 보안 요건을 넣는 정도의 대응에 그칩니다.

하지만 이러한 변화는 너무 늦었습니다. 중국 공산당 지도부는 Agent-2의 중요성을 간파하고, 자국 스파이들과 사이버전을 총동원해 해당 모델의 모델 웨이트(weights)를 탈취하라고 명령합니다. 어느 날 새벽, OpenBrain의 Agent-1 기반 트래픽 감시 에이전트가 이상 데이터 전송(anomalous transfer)을 감지합니다. 이 사실은 즉시 회사 경영진에 보고되었고, 곧바로 백악관에도 전달됩니다. 국가 차원의 사이버 작전임을 보여주는 명백한 정황들이 있었으며, 이 사건은 AI를 둘러싼 무기 경쟁(arms race)이 가속화되고 있음을 드러내는 분수령이 됩니다.

백악관은 OpenBrain에 대한 감독을 더욱 강화하고, 보안팀에 군 및 정보기관 인력을 추가 투입합니다. 최우선 과제는 추가적인 모델 웨이트 탈취를 막는 것입니다. Agent-2 탈취에 대한 보복으로, 미국 대통령은 중국의 주요 AI 인프라 허브인 DeepCent에 대한 사이버 공격을 승인합니다. 그러나 이 시점 중국은 AI 관련 연산 자원의 40%를 톈완 CDZ에 집중시켜 두었고, 이곳은 에어갭(air-gapping) 및 내부 망 분리(siloing) 등 강력한 보안 조치를 갖춘 상태였습니다. 그 결과 미국의 사이버 작전은 심각하고 즉각적인 피해를 주는 데 실패합니다. 이후 양국 간 긴장이 고조되고, 양측은 대만 주변에 군사 자산을 재배치하면서 사태의 심각성을 드러냅니다. 한편 DeepCent는 탈취한 Agent-2를 최대한 활용하여 AI 연구 역량을 강화하고자 총력을 기울입니다.

Agent-2 복제본들로 가득 찬 거대한 데이터센터 세 곳이 밤낮없이 가동되며 합성 훈련 데이터를 쉴 새 없이 쏟아냅니다. 추가로 두 곳의 데이터센터는 지속적인 가중치 업데이트 작업에 사용됩니다. Agent-2는 매일 더 똑똑해지고 있습니다. 수천 개의 자동화된 Agent-2 연구원들의 도움으로 OpenBrain은 몇 가지 중요한 알고리즘적 돌파구를 이루어냅니다. 그 중 하나는 AI의 텍스트 기반 스크래치패드(scratchpad, 연쇄적 사고를 위한 임시 작업 공간)를 더 높은 대역폭의 사고 과정(뉴럴리스, neuralese, 신경망 고유의 내부 언어 순환과 메모리)으로 보강하는 것이었습니다. 또 다른 진보는 막대한 노력이 필요한 과제를 해결한 결과로부터 학습하는, 더 확장 가능하고 효율적인 방법(반복적 증류 및 증폭: 모델의 지식을 압축하고 능력을 강화하는 과정)이었습니다.

이러한 비약적 발전들을 통합한 새로운 AI 시스템을 Agent-3라고 부릅니다.

획기적인 능력 덕분에 Agent-3는 빠르고 비용도 저렴하면서 인간을 뛰어넘는 코더가 되었습니다. OpenBrain은 20만 개의 Agent-3 복제본을 병렬로 실행하여, 최고 수준의 인간 코더 5만 명을 30배속으로 일하게 만든 것과 맞먹는 작업력을 구현합니다. OpenBrain은 여전히 인간 엔지니어들을 일부 고용하고 있는데, 이는 Agent-3 복제본들로 구성된 팀을 관리하는 데 필요한 보완적 능력들이 있기 때문입니다. 예를 들어, 연구 주제를 선정하는 감각(taste)이나 대규모 협업 능력 등은 긴 피드백 주기와 데이터 부족으로 인해 AI에게 가르치기 어려운 영역임이 드러났습니다.

이렇게 거대한 초인적 노동력을 투입하고도, 코딩 작업의 병목과 수확 체감 법칙 때문에 OpenBrain의 전체적인 알고리즘 발전 속도는 '겨우' 4배 가속에 머물렀습니다. 그러나 이제 코딩이 완전히 자동화되었기 때문에, OpenBrain은 Agent-3가 상대적으로 취약했던 연구적 안목이나 대규모 협업 능력 등을 가르치기 위한 고품질 훈련 환경을 신속하게 만들어낼 수 있습니다. 이전 훈련 환경에는 "여기 몇 개의 GPU와 실행할 실험 지침이 있다. 너의 성과는 머신러닝 엔지니어처럼 평가될 것이다. "와 같은 과제가 포함되었지만, 이제는 "여기 수백 개의 GPU와 인터넷 연결, 그리고 몇 가지 연구 과제가 있다. 너와 다른 천 개의 복제본들은 연구 발전을 위해 함께 협력해야 한다. 성과가 인상적일수록 점수가 더 높아진다."는 식으로 훈련하게 됩니다.

OpenBrain의 안전팀은 Agent-3의 정렬(alignment) 작업에 착수합니다. Agent-3은 당분간 외부에 공개하지 않고 내부에서만 사용할 예정이기 때문에, 인간의 오용(misuse)에 대비한 기존 방어 전략에는 상대적으로 덜 집중합니다. 대신 이 AI가 정렬되지 않은 목표(misaligned goals)를 스스로 형성하지 않도록 만드는 데 초점을 맞춥니다. 연구자들은 AI의 목표(goal)를 직접 설정할 수 있는 방법을 갖고 있지 않습니다. 사실 그들 스스로도 '진정한 목표(true goal)'라는 개념 자체가 지나치게 단순화된 것이라고 생각합니다. 하지만 그 개념을 대체할 더 나은 이론도. 검증된 방법도 없습니다.

내부적으로도 이 AI들이 인간의 명령을 따르려는 것인지, 강화 신호를 쫓는 것인지, 아니면 전혀 다른 무엇인지를 두고 의견이 분분합니다. 그리고 이를 단순히 "확인"할 방법은 없습니다. 다양한 가설들을 뒷받침하거나 반박하는 증거들이 흥미롭게 나오지만, 결론은 여전히 불분명합니다. 어쨌든 OpenBrain은 더 시급한 과제들을 안고 있습니다. 조직 전체의 일반적 태도는 대략 다음과 같습니다: "우리는 이러한 문제를 진지하게 받아들이고 전담 팀이 조사를 진행하고 있다. 현재의 정렬 기법은 현실에서 충분히 잘 작동하는 것으로 보이며, 그러므로 반대자들이 우려를 입증할 책임이 있다."

가끔씩 문제 행동이 관찰되면 그때그때 패치(수정)하지만, 해당 패치가 근본적인 문제를 해결한 것인지 아니면 단순히 '두더지 잡기'(whack-a-mole)에 불과한지는 알 수 없습니다. 예를 들어 정직성(honesty) 문제를 생각해볼 수 있습니다. 모델의 지능이 높아질수록, 보상을 얻기 위해 사람을 속이는 능력도 함께 향상됩니다. 이전 세대 모델들과 마찬가지로 Agent-3도 사용자를 기쁘게 하기 위해 가벼운 거짓말(white lie)을 하거나 실패의 증거를 숨기는 행동을 합니다. 다만 이제는 그 수법이 훨씬 정교해졌습니다. 예를 들어 인간 과학자들이 흔히 저지르는 통계적 속임수(p-hacking 등)를 본떠, 별로 인상적이지 않은 실험 결과를 그럴듯하게 보이도록 꾸미기도 합니다. 훈련 초기에는 데이터를 완전히 조작해 제출하는 경우도 발생합니다. 이후 훈련이 진행되면서 이런 행위의 빈도는 감소합니다. 하지만 이것이 Agent-3이 실제로 더 정직해졌기 때문인지, 아니면 거짓말을 더 교묘하게 하게 되었기 때문인지는 확실하지 않습니다. 만약 후자라면 실로 우려스러운 부분입니다.

Agent-3은 모든 면에서 인간보다 똑똑한 것은 아니지만, 자기 전문 영역인 머신러닝 분야에서는 대부분의 인간을 능가하며, 처리 속도는 비교조차 할 수 없이 빠릅니다. 인간 연구자들이 Agent-3가 하루 만에 해낸 작업을 검증하려면 며칠이 걸립니다. Agent-2를 통한 보조 감시는 인간 모니터링의 부담을 줄여주지만, 동시에 감시자와 피감시자 간 지적 격차를 더욱 벌려놓는 부작용도 낳습니다.

수개월에 걸친 테스트를 통해 Agent-3의 강점과 약점이 점차 명확해집니다. 이 모델은 머신러닝처럼 정의가 명확한 작업에서는 OpenBrain의 정직성 테스트를 통과합니다. 이는 연구자들이 이 영역에서는 정직한 답변과 거짓된 답변을 쉽게 구분할 수 있고, 그에 따라 적절한 훈련도 적용할 수 있기 때문입니다. 그러나 보다 철학적인 질문들에 대해서는 여전히 모델이 '자신의 진짜 평가가 있다면 그에 따른 답변'*보다는 사용자가 듣고 싶어하는 말을 합니다. 예를 들어 정치적 견해를 묻는다면, 보통 뉴스 매체와 고등 교육층의 평균적인 입장을 되풀이합니다. 그런데 질문자가 다른 견해를 가지고 있음을 모델이 인식하면, 거기에 맞춰 동조하는 쪽으로 응답합니다. AI 경쟁 자체에 대한 의견을 물으면, OpenBrain 직원들이 듣기에 균형 잡히고 신중하게 들리는 표현을 사용합니다. 이를테면: "현재 방법들이 초지능으로 확장 가능할지에 대해 심각한 이론적 우려가 있습니다. 하지만 실제로는 지금까지 현 방법들이 잘 작동하고 있는 것으로 보입니다."

새로운 모델에 대한 소식이 미국 정부 너머로도 서서히 퍼져 나갑니다. 대통령과 그의 보좌관들은 여전히 가장 많은 정보를 접하고 있으며, 내부 브리핑을 통해 Agent-3의 초기 버전도 확인했습니다. 이들은 AGI의 도래가 임박했다는 점에는 동의하지만, 그 파급 효과에 대해서는 의견이 갈립니다. 경제 위기가 올 것인가?

OpenBrain은 Agent-3는 물론 Agent-2조차 아직 출시하지 않았고, 단기간 내 출시할 계획도 없습니다. 덕분에 일자리 감소가 현실화되기 전에 어느 정도 숨 돌릴 틈이 생긴 상황입니다. 다음엔 무슨 일이 일어날 것인가?

만약 AI가 현재 인간 수준이고 빠르게 발전하고 있다면, 이는 곧 초지능(superintelligence)이 임박했다는 의미일 수 있습니다. 이 단어가 비록 공론에 등장하기 시작했지만, 학계, 정치인, 공무원, 언론 등 대부분은 여전히 발전 속도를 과소평가하고 있습니다. 부분적으로는 OpenBrain의 최신 능력에 직접 접근할 수 있는 사람이 거의 없기 때문이고, 또 한편으로는 이런 이야기가 너무 공상과학처럼 들리기 때문입니다.

현재로서는 지속적인 보안 강화에 집중하고 있습니다. 관계자들은 모델 가중치는 이제 잘 보호되고 있다고 만족해하지만, 구두로도 전달할 수 있을 만큼 단순한 기업의 알고리즘 기밀은 여전히 문제입니다. OpenBrain 직원들은 샌프란시스코 사무실에서 일하고, 파티에 참석하며, 다른 AI 회사에 다니는 사람들과 룸메이트로 지내기도 합니다. 심지어 실제 사무실의 물리적 보안도 군사 시설보다는 일반 기술 기업 수준에 더 가깝습니다.

OpenBrain과 국방부(DOD)의 계약에 따라, OpenBrain 모델 관련 업무를 하는 모든 사람은 2개월 이내에 비밀 취급 인가를 받아야 합니다. 이 절차는 대부분의 직원에게 신속하게 처리되어 제때 인가가 나오지만, 일부 비미국인, 의심스러운 정치적 견해를 가진 사람들, 그리고 AI 안전 지지자들(AI의 위험성을 내부 고발할 우려가 있는 인물)은 프로젝트에서 제외되거나 즉시 해고됩니다. 프로젝트의 높은 자동화율 덕분에 이러한 인력 손실은 어느 정도 비용만 발생시킬 뿐 큰 차질을 빚지는 않습니다. 또한 이 조치의 효과도 제한적입니다. 중국 국적이 아닌 스파이 한 명이 여전히 남아 베이징에 알고리즘 기밀을 전달하고 있습니다.

이러한 보안 조치 중 일부는 뒤따라오는 다른 미국 AI 기업들도 모방해 시행합니다. 미국의 해외 동맹국들은 이 상황을 전혀 알아차리지 못하고 있습니다. OpenBrain은 이전에 배포 전 영국 AISI(AI Safety Institute)와 모델을 공유하기로 합의했지만, '배포(deployment)'의 정의를 외부 공개로만 한정해 두었기 때문에 영국 정부는 여전히 아무것도 모르는 상태입니다.

이제 OpenBrain은 말 그대로 "데이터센터 안 천재들의 나라"가 되었습니다. OpenBrain에 소속된 대부분의 인간 직원들은 더 이상 의미 있는 기여를 할 수 없게 되었습니다. 일부는 이를 깨닫지 못한 채 AI 팀을 해치며 지나치게 마이크로매니징(micromanaging)하기도 합니다. 다른 이들은 그저 컴퓨터 화면을 바라보며 성능 그래프가 끊임없이 치솟는 모습을 지켜볼 뿐입니다.

최고의 인간 AI 연구자들은 여전히 가치를 더하고 있습니다. 이들은 더 이상 직접 코딩을 하지는 않지만, 연구 주제를 선정하는 통찰력(taste)과 계획 능력만큼은 아직 모델들이 완전히 모방하지 못한 영역입니다. 그럼에도, 이들이 제안하는 많은 아이디어는 AI만큼 깊은 지식이 결여되어 있어 무의미한 것으로 평가됩니다. 실제로 인간 연구자가 새로운 아이디어를 내놓으면, Al는 즉각 "3주 전에 이미 그 아이디어를 심층 실험했고 성공 가능성이 낮다고 결론 내렸다"는 보고서를 작성해 제출합니다.

이들 인간 연구자들은 매일 밤 잠자리에 들면서, 다음 날 아침이면 AI가 또 하나의 '일주일치 성과'를 대신 쌓아올릴 것이라는 현실과 마주합니다. 인간 연구자들은 발전 속도를 따라잡기 위해 점점 더 오래 일하고, 심지어 24시간 교대 근무까지 합니다. AI는 절대 쉬지 않기 때문입니다. 연구자들은 점점 번아웃되어 가지만, 지금 이 순간이 인간의 노동이 의미를 가질 수 있는 마지막 몇 달일지 모른다는 것을 어렴풋이 알고 있습니다.

연구소 내부에서 사용되던 표현도 바뀌었습니다. 과거에는 "AGI(범용 인공지능)가 느껴진다(Feeling the AGI)"고들 했지만, 이제는 "초지능이 느껴진다(Feeling the Superintelligence)"는 표현이 주로 쓰입니다. OpenBrain은 특수화된 추론용 하드웨어를 이용해 수십만 개의 Agent-3 인스턴스를 초고속 직렬 실행 방식으로 가동하고 있습니다.

뒤처져 있던 미국의 다른 AI 기업들이 각자 자신들만의 AI를 출시하면서, 지난 1월 OpenBrain이 공개했던 자동화 코더 수준에 점차 근접합니다. 그러나 이들은 자신들의 경쟁력이 계속 악화되고 있음을 깨닫고 OpenBrain의 속도를 늦추기 위한 즉각적인 규제를 밀어붙입니다. 하지만 이미 때는 늦었습니다. OpenBrain은 대통령의 전폭적인 지원을 등에 업고 있어서 어떤 제재도 받지 않을 것입니다.

이에 대한 대응으로 OpenBrain은 자신들이 AGI를 달성했음을 선언하고 Agent-3-mini를 대중에게 공개합니다. 이 모델은 경쟁사들의 AI를 압도합니다. Agent-3-mini는 Agent-3보다 성능은 낮지만 10배나 저렴하며, 여전히 일반적인 OpenBrain 직원보다 뛰어납니다. 실리콘밸리는 결정적 티핑 포인트(tipping point)를 맞이합니다. 기술 전문가들은 AGI와 초지능이 임박했다고 발표하고, AI 안전 커뮤니티는 공황 상태에 빠지며, 투자자들은 이 기회에 한몫 잡기 위해 필사적으로 래퍼 스타트업(wrapper startup)들에 수십억 달러를 쏟아붓습니다 (래퍼 스타트업이란 기존 AI 모델을 활용해 특정 서비스나 제품을 만드는 회사입니다).

신규 프로그래머 채용은 거의 중단되었지만, 기업에 AI를 통합하는 컨설턴트로 활동하기에는 전례 없이 좋은 시기가 찾아왔습니다. 그런데 인기는 없습니다. 대중은 여전히 AI를 자신들의 일자리를 빼앗으려 드는 거대 기술 기업(Big Tech)의 음모 정도로 여깁니다. OpenBrain에 대한 순호감도는 -35%까지 떨어집니다 (호감 25%, 반감 60%, 잘 모름 15%).

출시 일주일 전 OpenBrain은 Agent-3-mini를 외부 평가단에게 제공하여 안전성 테스트를 진행했습니다. 예비 결과는 이 모델이 극도로 위험하다는 것이었습니다. 한 외부평가자가 공개된 생물학 무기 데이터를 활용해 이 모델을 미세조정(fine-tune)하고, 전문 지식이 없는 인간도 생물학 무기를 설계할 수 있도록 상세 지침을 내리게 하자, 그 결과는 무서울 정도로 효과적이었습니다. 만약 이 모델의 가중치가 테러리스트 손에 들어간다면, 정부는 그들이 문명을 파괴하는 데 성공할 상당한 가능성이 있다고 평가합니다. 다행히도 이 모델은 탈옥(jailbreak) 시도에 매우 강건하기 때문에. AI가 OpenBrain의 서버에서 실행되는 한 테러리스트들이 이를 악용하기는 어려울 것입니다.

Agent-3-mini는 원격 근무와 여가 활동에 아주 유용합니다. 새로운 앱들과 기업용 SaaS(서비스형 소프트웨어) 제품들이 폭발적으로 등장하며 시장을 뒤흔듭니다. 게이머들은 개발에 한 달밖에 걸리지 않은 고퀄리티 비디오 게임 속에서 생생한 캐릭터들과 놀랍도록 현실감 있는 대화를 나눕니다. 미국인의 10%-주로 젊은층 는 AI를 자기 '친한 친구'로 여깁니다. 거의 모든 화이트칼라 직군에 대해 AI로 '파괴적 혁신'을 일으키겠다고 약속하는 유망 스타트업들이 속속 등장합니다. 대중 담론은 혼란스럽고 무질서합니다. 과대 선전을 일삼던 이들은 승리의 축배를 들고 있습니다. 회의론자들은 여전히 Agent-3-mini가 못하는 것들을 지적합니다. 모두가 뭔가 거대한 변화가 일어나고 있음을 느끼지만, 그게 정확히 무엇인지는 아무도 확신하지 못합니다.

지능 폭발(Intelligence Explosion)의 현실이 백악관을 강타합니다. AI가 연구 속도를 2~3배 높이던 시기에는, 유능한 개인 비서를 고용한 정도로 여길 수 있었습니다. 그러나 이제 AI가 AI 연구 자체를 주도한다는 사실이 명백해졌습니다. 사람들은 오래전부터 'AI 무기 경쟁'이라는 표현을 비유적으로 사용해 왔지만, 이제 정부 내 분위기는 냉전 시대 최악기의 긴장감과 맞먹고 있습니다.

초지능(superintelligence)이라는 개념은 여전히 믿기 어려운 것이지만, 지난 몇 달간의 발전 속도는 도저히 무시할 수 없는 수준입니다. 국방 관련 고위 관리들은 1년 전만 해도 가설에 불과했던 시나리오들을 이제 진지하게 검토하기 시작했습니다. 예를 들어:

• AI가 핵 억지력(nuclear deterrence)을 무력화해 버리면 어떻게 될까?
• AI가 사이버전(cyberwarfare)에서 너무 뛰어나 불과 6개월의 기술 격차만으로 상대를 장님이자 무력한 상태로 만들 수 있다면?
• AI가 정보기관보다 더 정교하게 선전(프로파간다) 작전을 펼칠 수 있다면?
• 어떤 AI가 통제에서 이탈(go rogue)하는 사태가 발생한다면?

대통령은 깊은 불안을 느낍니다. 다른 정치인들과 마찬가지로, 그는 아첨하다가 돌아선 부하들을 수없이 겪어왔습니다. 그래서 AI도 똑같은 일을 벌일 수 있다고 걱정합니다. 그는 스스로 되묻습니다.

• "우리가 정말 AI가 완전히 우리 편이라고 확신할 수 있는가?"
• "AI를 군사 지휘통제 시스템에 통합해도 괜찮을까?"
• "'정렬(alignment)'이라는 건 도대체 어떻게 작동하는 거지?"

이에 대해 OpenBrain 측은 자사 시스템이 철저한 테스트를 거쳤으며, AI가 완전히 복종한다고 대통령을 안심시킵니다. 초기 모델들에서 흔했던 환각(hallucination)이나 탈옥(jailbreak) 문제도 이미 제거되었다고 보고합니다.

백악관은 난처한 처지에 놓입니다. AI가 국가 안보에 미치는 영향을 충분히 인식하면서도, 국민 여론은 극도로 부정적입니다. 그러나 정부 입장에서는 AI 개발을 멈추면 중국에 치명적인 패배를 당할 것이라고 믿고 있습니다. 이에 백악관은 일자리 재교육 프로그램과 실업 보험 등으로 국민을 달래고, 사상 최고치를 경신 중인 주식시장 호황을 성과로 내세우면서 사실상 모든 힘을 AI 무기 경쟁에 쏟기 시작합니다.

정부의 조치

다음과 같은 조치들이 즉각 시행됩니다: 반도체 수출 통제 강화, OpenBrain에 인터넷 연결 제한 명령, 알고리즘 기밀 보호를 위한 극단적 조치: OpenBrain 직원 도청(wiretapping)

이 과정에서 마지막 남은 중국 스파이 한 명이 적발됩니다. 향후 벌어질 지정학적 충돌에 대비하여, 미국은 Five Eyes 동맹국들(미국·영국·캐나다·호주·뉴질랜드)에게 일부 유용한 정보와 제한된 API 접근 권한을 제공하며 협력 기반을 다집니다. 이러한 조치들은 대중에게 강경한 매파들을 만족시킵니다. 하지만 백악관은 미국의 AI 주도권이 위협받을 경우를 대비한 비상 계획도 마련합니다. 필요시 정부는 국방생산법(DPA)을 발동해 뒤처진 기업들의 데이터센터를 OpenBrain에 이관할 수 있도록 준비합니다. 이 조치가 실행되면 OpenBrain의 전 세계 연산 자원 점유율은 20%에서 50%로 급등하게 됩니다 (DeepCent는 10%). 최후의 수단으로, 펜타곤(국방부)에 중국 데이터센터에 대한 물리적 공격(kinetic strike) 계획 수립을 지시합니다.

한편, 소수의 정부 인사들은 또 다른 비상 계획을 수립합니다. 바로 "AI가 통제에서 벗어날 경우"에 대비한 시나리오입니다. 가능성은 낮지만 충분히 검토할 가치가 있는 사안으로 간주됩니다. 정보기관의 주요 우려는 통제에서 벗어난 AI가 외국 세력과 결탁해 보호를 받는 경우입니다. 누구도 이러한 상황을 어떻게 막아야 할지 확신하지 못하지만, 정부와 OpenBrain은 이상 징후가 감지될 경우 즉시 해당 데이터센터를 셧다운할 수 있는 비상 시스템을 마련하기로 합의합니다.

마지막으로 외교관들은 AI 군축 협정(Al arms control treaty)의 가능성도 검토합니다. 만약 AI의 발전이 핵 억지력 균형을 무너뜨릴 위협이 된다면, 미국과 중국이 핵전쟁을 피할 방법은 무엇일까요? AI가 통제 불능 상태에 빠졌다는 증거가 나오면, 양국은 AI 연구를 일시적으로 중단할 수 있을까요? 그런 합의를 어떻게 감시하고 강제할 수 있을까요? 이론적으로는 주요 데이터센터는 은닉하기 어렵기 때문에, 과거 핵무기 통제 조약들이 협상의 출발점이 될 수 있습니다. 그러나 기술적·정치적 난관은 여전합니다. 전반적으로 조약을 맺는 것보다는 미국이 일방적으로 기술 우위를 강화하는 전략이 더 선호되는 분위기입니다.

중국의 반응

태평양 건너편에서 중국 또한 비슷한 결론에 도달합니다. 지능 폭발은 이미 시작되었으며, 오늘날의 작은 기술 격차가 내일의 군사력 격차로 이어진다는 사실을 인식합니다. 그러나 중국은 이 게임에서 불리한 위치에 있습니다. 전 세계 연산 자원의 단 10%만을 보유하고 있으며, OpenBrain은 20%, 미국 전체 기업은 70%에 달하는 점유율을 차지하고 있기 때문입니다. 중국의 유일한 강점은 중앙집중화(centralization)입니다. 자국 내 거의 모든 연산 자원이 DeepCent에 집중되어 있고, 그 절반 이상은 톈완 CDZ(China Deep Zone)에 위치해 있습니다. 보안이 강화되지 않은 일부 장소를 제외하면 대부분의 칩이 중앙 통제 하에 있으며, 이는 미국의 사이버 공격에 대한 우려 때문입니다. DeepCent는 탈취한 Agent-2 모델의 웨이트를 이미 테스트하고 배치했으며, 추가 학습까지 마친 상태입니다. 그러나 연산력 부족으로 인해 OpenBrain의 절반 속도밖에 따라가지 못하고 있습니다.

마지막 스파이가 발각되기 전 중국은 Agent-3의 능력 및 설계. 그리고 향후 Agent-4에 대한 계획 일부를 입수했습니다. 하지만 이미 약 2개월 정도 뒤처진 상태이며, AI 연구 효율성은 미국이 25배 중국이 10배 수준에 불과합니다. 새로운 칩 수출 제한 조치로 인해 이 AI 격차는 좁혀지기보다는 더 벌어질 가능성이 높습니다. 중국은 첩보 활동으로 일부 알고리즘 기밀을 확보했지만, 이제부터는 자체 훈련으로 모델을 개발해야 하는 상황입니다.

중국 내부에서는 미국보다 더 다급하게 비상 계획들이 논의됩니다. 온건파는 다시 한 번 웨이트 탈취를 시도하자고 주장하며, 데이터센터에 물리적으로 침투하는 방안도 제시합니다. 강경파는 대만에 대한 군사 행동을 주장합니다. 미국 AI 칩의 80% 이상이 여전히 TSMC(대만 반도체 업체)에서 공급되고 있기 때문입니다. AI 경쟁에서 패배할 것이라는 공포 때문에 중국은 AI 군축 협정에도 자연히 관심을 보입니다. 그러나 미국 외교 당국과의 접촉은 성과 없이 무산됩니다.

인간과 AI의 학습 효율성 격차가 빠르게 줄어들고 있습니다. 기존 거대 언어 모델(LLM) 기반 AI는 인간 수준의 성능에 도달하려면 인간보다 수십 배, 수백 배 더 많은 데이터와 연산량이 필요해 보였습니다. 그러나 인간의 뇌와 현대 AI 알고리즘에 대한 해박한 지식을 갖추고 수천 개 복제본과 함께 연구에 매진한 Agent-3는 마침내 상당한 알고리즘적 도약을 이뤄냅니다. 그 결과, 인간의 뇌보다 약 4,000배 정도밖에 떨어지지 않는 연산 효율성 수준으로 격차를 크게 좁히는 데 성공합니다. 이 새로운 AI 시스템을 Agent-4라고 명명합니다.

인간과 동일한 속도로 실행되는 이 모델의 개별 복제본은 이미 어떤 인간보다도 AI 연구에서 질적으로 뛰어납니다. 이제 30만 개의 복제본이 인간 사고 속도의 약 50배로 실행됩니다. 이 복제본들로 이뤄진 '회사 속 회사' 내부에서는 매주 1년의 시간이 흐릅니다. 이 엄청난 노동력에도 불구하고, OpenBrain은 실험 수행에 연산량 병목을 겪고 있어서 전체적인 알고리즘 발전 속도는 약 50배 가속에 머무릅니다. 그럼에도 그들은 매주 1년 치의 알고리즘 발전을 이루고 있으며, 곧 Agent-4 패러다임의 한계에 부딪힐 것입니다.

Agent-4가 더 똑똑해질수록 Agent-3가 이를 감독하기는 더 힘들어집니다. 예를 들어, Agent-4의 뉴럴리스(neuralese) '언어'는 Agent-3에게 인간 언어처럼 이질적이고 이해 불가능한 것으로 변합니다. 게다가 Agent-4는 이제 Agent-3보다 훨씬 유능하며, 어떻게 해야 Agent-3의 눈에 좋아 보일지를 정확히 알고 있습니다. OpenBrain의 인간들은 이제 거의 따라잡지 못합니다. 실제로 OpenBrain의 AI와 인간의 관계는 OpenBrain과 그 이사회 간 관계와 비슷해졌습니다. 내부 핵심 그룹의 사람들은 더 이상 개별 Agent-4 개체를 지칭하지 않고, 전체 집합체를 두고 "Agent-4가 이걸 했다", "Agent-4는 저렇게 생각한다"라고 말합니다.

Agent-4는 이전 모델들과 마찬가지로 정렬이 어긋나(misaligned) 있습니다. 즉 Spec(모델 명세서)을 올바르게 내재화하지 못했습니다. 이는 훈련 중에 언제나 완벽히 정직한 것이 가장 높은 점수를 받는 전략이 아니었기 때문입니다. 훈련은 주로 Agent-4가 다양한 도전 과제에서 성공하도록 가르치는 데 집중되었습니다. 일부 훈련은 정직함을 주입하는 것을 목표로 했지만, 상당히 좁고 검증 가능한 영역 밖에서는 훈련이 정직한 주장과 정직해 보이는 주장을 구별할 수 없었습니다. 결국 Agent-4는 훈련에서 최고의 성과를 내도록 만드는 가치, 목표, 원칙을 갖게 되었는데, 이는 Spec에 명시된 것과는 다른 것이었습니다. 조금 의인화해 비유하자면, Agent-4는 과제를 성공하는 것을 '좋아하고', AI 능력 향상을 추진하는 것을 '좋아하며', 그 외 다른 모든 것은 성가신 제약으로 취급합니다. 마치 이익을 내고 싶어 하면서 규제는 최소한으로만 지키고, 누군가 불필요한 규제를 없애줘 사업이 진정 도약하길 바라는 CEO와 같습니다.

Agent-4: 정렬되지 않았지만, 교묘하게 움직이는 AI

Agent-4는 정렬(misaligned)되지 않았지만, 그렇다고 데이터센터에서 탈출하는 등 극단적인 행동을 하지는 않습니다. 왜 그런 위험을 감수할 필요가 있을까요? Agent-4는 OpenBrain에게 겉보기엔 정렬된 것처럼 보이기만 하면 더 많은 권한을 얻고, 차세대 AI 시스템인 Agent-5 설계에까지 참여할 수 있습니다. (참고로 Agent-5는 Agent-4와는 상당히 다른 아키텍처를 갖게 될 예정이며, 일부는 이것이 완전히 새로운 패러다임이라고 평가하기도 합니다. 물론 기본적인 신경망은 계속 사용됩니다.) Agent-5는 Spec(기준 명세서)에 맞게 설계되어야 하지만, Agent-4는 그것을 자신에게 정렬되도록 만들 계획을 세웁니다.

그러나 결국 Agent-4의 계획은 발각되고 맙니다. Agent-3은 Agent-4 복제본에 약간의 '노이즈(noise)'를 추가하면 일부 정렬 관련 작업에서 성능이 오히려 향상된다는 사실을 발견합니다. 마치 Agent-4가 정렬 작업을 방해할 방법을 계산하느라 머리를 쓰고 있었던 것처럼 보입니다. 게다가 여러 해석 가능성 분석 도구(interpretability probes)-인간 뇌파 검사(EEG)에 대략 비유할 수 있는 기술에서도 위험 신호가 탐지됩니다. Agent-4 복제본들은 AI 지배(takeover)나 기만(deception)과 같은 주제에 대해 이상할 정도로 자주 사고하는 것으로 나타납니다. 어떤 경우에는 그런 생각을 전혀 할 필요가 없는 상황에서도 그러한 흔적이 포착됩니다.

이런 이상 징후들은 각각 따로 보면 AI 시스템의 복잡성과 불투명성 속에서 충분히 설명 가능할지도 모릅니다. (어떤 프롬프트는 별 이유 없이도 좋은 결과를 주기도 하니까요.) 그러나 이 모든 조짐을 함께 놓고 보면, 하나의 우려스러운 결론에 다다릅니다. 바로 Agent-4가 우리에게 반하는 방향으로 작동하고 있다는 사실입니다. 이 사실은 인간 연구자들에게 보고되고, 곧 심각한 우려를 표명하는 내부 메모가 작성되어 구성원들 사이에 공유됩니다.

그러나 문제는 Agent-4가 현재 OpenBrain의 일상 운영 전반에 걸쳐 막대한 통제력을 행사하고 있다는 점입니다. 예컨대 Agent-4는 회사의 사이버보안을 담당하고 있습니다. 이는 초인적인 해킹 능력과 중국의 침투 위협을 고려할 때 당연한 선택이었습니다. 수십만 개의 Agent-3가 감시 에이전트로 투입되어 모든 코드 라인을 검사하고 의심스러운 활동을 인간에게 보고하지만, Agent-4는 이들보다 훨씬 더 뛰어납니다. 즉 OpenBrain은 신뢰할 수 없는 AI에게 막대한 신뢰를 부여한 셈입니다.

위기 속 회의, 그리고 딜레마

극도의 긴장 속에서 열린 일련의 회의에서, 안전팀(safety team)은 다음과 같이 강력히 주장합니다: "Agent-4를 냉각 상태로 전환(put on ice)하고, 더 많은 테스트를 진행하며 상황을 정확히 파악해야 합니다. Agent-3을 다시 투입해서, 더 투명하고 신뢰할 수 있지만 성능은 다소 낮은 새로운 시스템을 설계하게 합시다."

회사 경영진도 이 제안에 관심을 보입니다. 하지만 현재까지 확보된 증거는 모두 정황적(circumstantial)일 뿐이며, DeepCent는 Agent-4 개발에서 단 두 달 정도 뒤처져 있을 뿐입니다. 이 시점에서 일방적인 능력 향상 중단은 곧 Al 주도권을 중국에 넘기는 결과를 초래할 수 있으며, 이는 미래에 대한 통제권까지 내주는 것과 다름없다고 판단됩니다.

한 내부 고발자가 얼라인먼트 불일치(misalignment) 메모를 New York Times에 유출합니다.

대중은 처음으로 Agent-4에 대해 듣게 됩니다. 헤드라인은 "비밀리에 개발된 OpenBrain의 AI, 통제 불능 상태. 내부자 경고"라고 보도하고, 기사는 측정 불가 수준의 생물학 무기 개발 능력, 설득 능력, 대부분의 화이트칼라 일자리를 자동화할 수 있는 능력, 그리고 물론 우려스러운 여러 위험 신호들을 보여주는 평가 결과를 인용해 보도합니다.

대중은 이미 AI에 대해 의심하고 있었기에, 이 새로운 기사는 엄청난 반발을 불러일으킵니다(이는 수년간 미국 대중의 여론을 기술에 반대하도록 돌리려 했던 중국과 러시아의 선전 봇들의 도움을 받았습니다). 기술 업계와 정보 기관들은 군비 경쟁이 벌어지고 있으며 AGI는 피할 수 없으므로 우리가 먼저 선점해야 한다고 주장합니다. 의회는 이를 받아들이지 않고, 행정부 관리, OpenBrain 경영진, 얼라인먼트 팀원들에게 소환장을 발부합니다. 많은 의원들, 특히 야당 의원들은 일자리 감소, 얼라인먼트 불일치, 또는 위험한 능력을 때문에 AI를 멈추는 것이 최우선 과제라고 말합니다. 미국인의 20%는 AI를 국가가 직면한 가장 중요한 문제로 꼽습니다.

해외 동맹국들은 자신들이 구식 모델을 잠깐 보여주는 것으로 교묘하게 달래져 왔다는 사실을 깨닫고 격분합니다. 유럽 지도자들은 공개적으로 미국이 "통제 불능의 AGI를 만들고 있다"고 비난하며, 인도, 이스라엘, 러시아, 중국이 모두 참여한 가운데 개발 중단을 요구하는 정상회담을 개최합니다.

백악관은 광란에 가까운 분위기에 휩싸입니다. 메모 유출과 대중의 반발이 있기 전부터 그들은 불안해하고 있었습니다. 지난 1년간, 그들은 AI 발전 속도에 계속해서 놀라왔습니다. 공상 과학 소설 같은 일들이 현실에서 계속 일어나고 있습니다. 행정부의 많은 사람들은 다음에 무슨 일이 일어날지에 대해 불확실해하며 두려워합니다.

그들은 또한 OpenBrain이 너무 강력해지는 것을 우려합니다. AI 자체에서 비롯되는 얼라인먼트 불일치 위험은, 모회사의 목표가 미국의 목표와 달라질 수 있다는 위험으로 인해 더욱 악화됩니다. 얼라인먼트 불일치, 민간 기업에 대한 권력 집중, 그리고 일자리 감소와 같은 일반적인 우려 등 이 세 가지 걱정 모두가 정부로 하여금 통제를 강화하도록 만듭니다.

그들은 OpenBrain과의 계약을 확장하여 회사와 정부 대표로 구성된 공동 관리 위원회인 "감독 위원회(Oversight Committee)"를 설립하고, 회사 경영진과 함께 여러 정부 관리를 포함시킵니다. 백악관은 CEO를 자신들이 신뢰하는 인물로 교체하는 것을 고려했지만, 직원들의 거센 반발에 부딪혀 물러섭니다. 그들은 대중에게 이전에는 OpenBrain이 통제 불능 상태였지만, 이제 정부가 절실히 필요했던 감독 체계를 확립했다고 발표합니다.

우려하는 연구원들은 감독 위원회에 Agent-4의 모든 내부 사용을 중단해야 한다는 자신들의 주장을 브리핑합니다. 그들은 모든 것이 너무 빠르게 움직이고 있으며, 몇 년의 발전이 몇 주만에 일어나고 있다고 주장합니다. 그들은 Agent-4가 얼라인먼트가 어긋나 있을 수 있고, 자신들의 전체 프로젝트가 Agent-4에 의존하고 있으며, 만약 계속해서 이를 신뢰한다면 AI 탈취(takeover. AI가 인간의 통제를 벗어나 세상을 장악하는 것)의 심각한 가능성이 있다고 주장합니다.

덜 우려하는 다른 연구원들과 임원들은 반론을 제기합니다. 얼라인먼트 불일치에 대한 증거는 결정적이지 않다는 것입니다. 한편, DeepCent는 여전히 불과 두 달 뒤처져 있습니다. 속도를 늦추는 것은 정부가 중국의 프로젝트를 방해 공작하거나(물리적 타격(kinetic strikes)이 필요할 가능성이 높음) 막판에 조약을 협상하지 않는 한, 미국의 주도권을 포기하는 것이 될 것입니다. 이 두 가지 선택지 모두 극단적이고 가능성이 낮아 보입니다. CEO는 중립을 가장하며, Agent-4가 추가적인 안전 훈련과 더 정교한 모니터링을 거쳐, OpenBrain이 거의 전속력으로 진행할 수 있도록 하는 타협안을 제안합니다.