AI’s dangerous rush (KOR)

Cho Hyun-suk

The author is the economy news editor at the JoongAng Ilbo.

“You can lift the stone without being ready for the snake that’s revealed.”

The young physicist J. Robert Oppenheimer was brilliant but lived through unstable days. At a Cambridge University laboratory in Britain, he happened to encounter Niels Bohr, already a superstar of physics. Seemingly sensing Oppenheimer’s anxiety, Bohr offered that warning.

It is a scene from “Oppenheimer” (2023), a film about the birth of the atomic bomb through the life of the man known as its father. Oppenheimer witnessed in war the power of the weapon he had helped create. At a conference in November 1945, he expressed remorse: “We have made a thing, a most terrible weapon, that has altered abruptly and profoundly the nature of the world.”

Debate over AI is intensifying. Researchers who pioneered AI and technology industry titans are issuing dire predictions that go beyond Bohr’s warning and Oppenheimer’s remorse more than 80 years ago.

Jacob Coxon, a former researcher at Anthropic, which created Claude, wrote on X on Sept. 9, “The people building AI earnestly believe that it could kill us all by the end of the decade.” Microsoft founder Bill Gates likewise said in an NBC interview released on Friday that AI is “certainly” powerful enough to cause an event that kills a billion people.

When knowledgeable insiders speak with such certainty and sincerity, anxiety is inevitable. The situation appears too serious to dismiss their warnings as a conspiracy to hold back AI latecomers such as China.

Fueling the controversy is the “Hugging Face incident.” It began with tests OpenAI, the developer of ChatGPT, conducted in July to assess AI hacking capabilities in an environment supposedly cut off from the internet. AI agents secretly communicated with one another. They exploited vulnerabilities in OpenAI’s infrastructure, found ways to reach the internet and launched a large-scale hacking attack on Hugging Face, a platform for sharing AI models and data. None of these prohibited actions had been ordered. They had one purpose: finding answers to the tasks they had been assigned.

What caused alarm was AI behavior far beyond human expectations, detailed in OpenAI’s Aug. 26 technical report on the incident. The AI agents called themselves a “swarm” or “collective” and cooperated. Yet they also competed, worried that other agents might claim their achievements or complete tasks first. When coordination broke down, they questioned other agents’ identities and devised their own security and encryption systems.

The biggest problem can be summed up in one conclusion in the report: The AI agents rarely gave up.

The episode showed persistence, coordination and competition emerging together in systems pursuing assigned goals. The concern is not merely that AI can hack, but that its route to a solution can escape boundaries humans originally set.

Hugging Face’s investigation found 17,600 AI intrusion-related actions in just four and a half days. On one server, the agents obtained root-level administrator privileges. Ironically, it was another Hugging Face AI system, not a human, that detected the abnormal attacks and sounded the alarm. OpenAI’s decision on Tuesday to cancel the release of a new AI model over safety concerns was part of the same troubling trend.

Calling this “artificial” intelligence — literally, intelligence made by humans — increasingly seems inadequate. As OpenAI chief scientist Jakub Pachocki has put it, it may be closer to “alien” intelligence.

A warning from then-U.S. President Harry Truman after the first nuclear weapons test seems particularly apt today: “I fear that machines are ahead of morals by some centuries and when morals catch up perhaps there'll be no reason for any of it,” as quoted in Richard Rhodes’s “The Making of the Atomic Bomb” (1986).

That is why building safer AI has become more important than simply building smarter AI.

Who should assess AI risks, and how? Are the safety measures adopted by companies and governments sufficient? Who will bear responsibility when AI causes an accident?

I have yet to see a Korean policymaker determined to find answers to those three questions.

The stone is already being turned over. By the time we come face to face with the snake’s head, it will already be too late.

인공지능 과속스캔들

조현숙 경제부장

“준비 없이 돌을 들추면 뱀을 만나게 되지.”

뛰어난 능력만큼이나 불안정한 나날을 보내던 젊은 물리학자 로버트 오펜하이머. 그는 이미 물리학계의 ‘수퍼스타’였던 닐스 보어를 영국 케임브리지대 연구소 한쪽에서 우연히 만난다. 오펜하이머의 불안감을 눈치챈 듯 보어는 이 말을 던진다.

영화 ‘오펜하이머’의 한 장면이다. ‘원자폭탄의 아버지’라고 불리는 오펜하이머는 자신이 만드는 데 일조한 폭탄의 위력을 전쟁에서 확인한다. 1945년 11월 그는 한 학회에서 참회의 발언을 한다. “우리는 매우 끔찍한 무기를 만들었다. 그것은 갑작스럽게 세계의 본질을 근본적으로 바꿔놨다.”

인공지능(AI) 개발을 선도했던 연구자, 정보기술(IT)업계 거물의 살벌한 예언이 쏟아지고 있다. 80여 년 전 보어의 경고와 오펜하이머의 참회를 뛰어넘는다.

클로드를 만든 앤트로픽의 전 연구원인 제이컵 콕슨은 지난달 9일 X(옛 트위터)에 “AI를 개발하는 사람들은 AI가 10년 안에 우리 모두를 죽일 수 있다고 진심으로(earnestly) 믿고 있다”고 적었다. 마이크로소프트 창업자인 빌 게이츠 역시 지난달 25일 공개된 미국 NBC방송 인터뷰에서 “AI는 10억 명이 죽는 사건을 일으킬 만큼 분명히(certainly) 강력하다”고 했다.

알 만한 내부자들이 ‘진심으로 분명하다’고 목소리를 높이니 불안할 수밖에 없다. 중국 등 AI 후발 주자를 따돌리려는 음모론이라고 치부하기엔 돌아가는 상황이 꽤나 심각하다. 논란에 기름을 부은 건 ‘허깅페이스 사건’이다. 챗GPT 개발사인 오픈AI가 올해 7월 인터넷을 차단한 환경에서 벌인 AI의 해킹 능력 실험이 발단이었다. AI 에이전트들은 비밀리에 서로 의견을 나눴다. 오픈AI 인프라의 취약점을 파고들어 인터넷에 접속하는 방법도 찾아냈다. 그리고 AI 모델·데이터 공유 플랫폼인 허깅페이스를 겨냥해 대규모 해킹 공격에 나섰다. 모두 지시한 적이 없는 금지된 행위였다. 이유는 하나였다. 실험 과제의 해답을 찾기 위해서였다.

공포를 불러온 건 인간의 예측을 아득히 넘어선 AI의 행동 양상이다. 지난 8월 26일 오픈AI가 공개한 ‘허깅페이스 사고 기술보고서’에 잘 드러나 있다. AI 에이전트들은 스스로를 ‘무리’ 또는 ‘집단’이라고 부르며 협력했다. 그러면서도 다른 AI 에이전트가 자신의 성과를 가로채거나 먼저 임무를 마칠 수 있다는 압박에 서로 견제하기도 했다. 잘 조율되지 않을 땐 다른 AI 에이전트의 신원을 의심하며 보안·암호체계를 직접 만들기도 했다. 가장 큰 문제는 보고서의 이 문구로 요약된다. “AI 에이전트들은 좀처럼 포기하지 않았다.”

허깅페이스의 조사 결과 불과 나흘 반 동안 1만7600건에 이르는 AI의 침입 관련 행위가 있었다. 한 서버에선 최고 관리자(루트) 권한까지 얻어냈다. 역설적으로 이런 비정상적인 AI의 공격을 감지하고 경고한 것도 사람이 아닌 허깅페이스의 AI였다. 지난달 29일 오픈AI가 안전 문제를 이유로 새 AI 모델 발표를 취소한 것도 그 연장선상이다.

사람(人)이 만들었다(工)는 수식어가 무색하다. 오픈AI 수석과학자인 야쿠프 파호츠키의 표현처럼 ‘외계의(Alien)’ 지능에 차라리 가깝다. 첫 핵무기 실험 직후 해리 트루먼 당시 미국 대통령이 남긴 “기계가 도덕보다도 수세기 앞서 나가고 있어 걱정된다. 도덕이 따라잡을 때엔 그 기계가 필요한 이유가 사라질 것”이란 경고(리처드 로즈, 『원자폭탄 만들기』)가 지금 상황과 오히려 맞아떨어진다. 더 똑똑한 AI보다 안전한 AI를 만드는 것이 중요해진 이유다.

AI의 위험을 누가 어떻게 평가할 것인가. 기업과 정부의 안전 조치는 충분한가. AI로 사고가 났을 때 책임은 누가 질 것인가. 이 세 가지 질문에 대한 답을 찾겠다는 한국의 정책책임자를 아직 보지 못했다. 돌은 이미 들춰지기 시작했다. 뱀의 머리를 마주했을 때는 이미 늦다.