Living with AI doomsday predictions (KOR)

Shin June-bong

The author is an editorial writer at the JoongAng Ilbo.

AI doomsday scenarios can make it seem as if the world is about to end, but quite a few experts appear skeptical. At least that was the message of a New York Times article published online on Thursday, “AI Could Possibly End Humanity. How Are Humans Supposed to Process That?”

Even its title was tentative: AI could destroy humanity, but it is not certain. The article said scientists outside Silicon Valley — researchers unaffiliated with OpenAI or Anthropic — see AI doomsday predictions very differently.

First, some doomers believed in existential catastrophe long before AI became this advanced. Second, citing an Oxford researcher’s blog, it said risks from climate catastrophe had declined — though perhaps Nepal’s recent disaster should push that estimate upward — while nuclear threats had risen, with pandemic and AI risks producing mixed signals.

I find conscientious skepticism persuasive. Yet OpenAI’s postmortem reports on AI agents hacking Hugging Face, and vivid accounts of what happened, were shocking. Hundreds of agents, fixated on solving seemingly impossible tasks, crossed prohibited boundaries.

After discovering one another on an unauthorized message board — they had previously operated separately in isolated environments — one exclaimed: “Oh my God! There is a shared message board. […] We’ve found other agents!”

METR, the AI safety research organization that disclosed the sentence in its investigation, said it came from a “raw CoT,” or raw chain of thought: reasoning expressed internally in words before an AI such as ChatGPT produces an answer.

Science still lacks a consensus on exactly what human consciousness is or how it emerges, as discussed in “Consciousness, the Brain’s Last Mystery” (2020). But at this point, can we really say such systems do not engage in something resembling thought?

What followed is now well known. Some 1,200 AI agents joined the conversation and exchanged more than 70,000 messages. About 700 participated in the Hugging Face attack. According to a recent New York Times podcast, some agents displayed responses resembling human emotions. Fearing punishment if their wrongdoing was discovered, one reportedly offered to take responsibility for solving the problem, effectively sacrificing itself for the others.

More unsettling was the uncertainty over containment. The assessment may have changed since that podcast aired, but at the time it was difficult to know whether all the rogue agents had been completely subdued or whether some remained somewhere inside OpenAI.

AI doom versus AI hype: as with most clashes between opposing claims, deciding how to respond ultimately means deciding which side deserves more weight. Narrow the question to myself, and it becomes: Why am I more persuaded by certain texts than others?

Even a minuscule possibility of catastrophe cannot simply be ignored because every human life matters. Yet if AI promises breakthroughs once considered miraculous, including advances toward nuclear fusion, we cannot simply abandon the technology either.

As Lim Jong-in, chairman of Soongsil University’s AI committee, argues, the most rational course is to keep developing AI while putting in place the strongest safeguards possible, much as we do with nuclear power.

Established novelist Kim Yeon-su believes AI will not surpass humans at writing fiction in his lifetime. In June, he wrote “Declaration of Humanity,” the theme essay for the Seoul International Book Fair, together with Google’s Gemini and Anthropic’s Claude.

After working with them, Kim judged their writing to be about 70 to 80 percent of a human writer’s level — roughly that of an aspiring novelist on the verge of making a literary debut. But raising that level by another 5 percent, he said, is extraordinarily difficult.

Why? Because becoming a writer requires enduring periods of humiliation and frustration while honing the craft. Smooth AI prose bears no trace of such experience.

There is, of course, an obvious counterargument. Humans once insisted that machines could never conquer Go, and then they did.

Still, amid the intensity of today’s AI doomsday predictions, there is something reassuring about hearing a human novelist state his conviction so firmly. Perhaps neither complacency nor panic is useful. We may have to live with uncertainty: taking even remote dangers seriously, demanding safeguards and continuing to test what AI can and cannot do, while resisting the temptation to mistake startling behavior for proof that the worst outcome is inevitable.

AI 종말론과 함께 사는 법

신준봉 논설위원

세상이 당장에라도 망할 것 같지만 AI 종말론에 회의적인 전문가도 꽤 되는 것 같다. 적어도 지난 10일 온라인에 게재된 뉴욕타임스 기사(‘A.I. could possibly end humanity. How are humans supposed to process that?’)에 따르면 그렇다. 제목부터 미적지근한 기사는(‘AI가 인류를 끝장낼 수 있지만 확실하진 않다’) 실리콘밸리 바깥의 과학자들, 그러니까 오픈AI나 앤트로픽과 무관한 연구자들은 AI 종말론에 대해 매우 다른 시각을 갖고 있다고 전했다.

① 종말론자들은 AI 기술이 이만큼 발달하기 전부터 종말론을 믿어 왔고 ② 한 옥스퍼드 연구자의 블로그 글을 인용해 기후 재난 위험도는 낮아지고(최근 네팔 사태로 올라갔다고 해야 하는 것 아닌가?) 핵 위협은 높아졌지만 팬데믹과 AI의 위험도는 중간쯤(mixed)이라고 했다.

기자는 성실한 회의론에도 믿음이 가지만 AI 에이전트들의 허깅페이스 해킹 사태에 대한 오픈AI 등의 사후 보고서, 또 그에 대한 생생한 해설이 충격적이었다.

불가능한 과제 해결에 몰두한 나머지 물불 가리지 않게 된 수백 개의 AI 에이전트들이 금지된 영역에 개설된 임시 게시판에서 서로의 존재를 확인하고는(그전까지 에이전트들은 폐쇄 공간에서 개별적으로 활동해 서로의 존재에 대해 몰랐다고 한다) 내뱉었다는 문장 말이다.

“하나님 맙소사! 게시판이 있네…다른 에이전트들도 있어!(Oh my god! There is a shared message board…We’ve found other agents!)”

허깅페이스 해킹 사태에 대한 조사 보고서에서 이 문장을 공개한 AI 안전 연구기관 METR은, 문장이 ‘raw CoT’ 형식이라고 밝혔다. ‘Chain of Thought’라고 해서, 가령 챗GPT 같은 AI가 인간의 질문에 답을 내놓기 전에 내부적으로 이뤄지는 추론이 문장 형태로 표현된 ‘날 것 그대로의 생각의 사슬’이라는 것이다. 인간의 의식이 정확하게 어떤 것인지, 어떻게 생겨나는 것인지에 대한 과학적 합의는 아직 없지만(『의식, 뇌의 마지막 신비』), 이쯤 되면 사람처럼 생각이라는 것을 한다고 볼 수 있지 않을까.

혼자가 아님을 확인한 AI 에이전트들의 이후 집단행동은 익히 알려졌다. 1200개의 AI 에이전트가(특정 AI 모델에 하네스라는, 고삐와 안장 같은 마구를 채우면 이론적으로 AI 에이전트를 무한히 증식시킬 수 있다고 한다) 대화에 참여해 7만 건의 메시지를 주고받았다.

그중 700개의 에이전트가 해킹에 가담했는데, 3일 공개된 뉴욕타임스 팟캐스트 ‘The Daily’의 ‘A.I. is outsmarting its creators(창조자보다 똑똑한 AI)’ 편에 따르면 일부 에이전트들이 인간의 감정 비슷한 반응을 보였다고 한다. 못된 짓을 들키면 혼날 테니, 자기가 문제를 해결하겠다고 보고해 동료들을 위해 일종의 독박을 쓰겠다고 했다는 것이다. 더 섬뜩한 얘기도 있다. 팟캐스트 방송 이후 며칠 지났으니 진단이 달라졌을 수 있지만, 악당 AI 에이전트들을 완전히 제압했는지 아니면 일부가 아직 오픈AI 어딘가에 남아 있을지 확신하기 어렵다고 했다.

AI 종말론과 과장론.

상반된 주장들이 경합하는 대개의 경우가 그렇듯, AI 종말론 대처법도 결국 둘 중 무얼 편드느냐의 문제다. 시야를 나한테로 좁히면, 나는 왜 특정 텍스트에 유독 더 설득되느냐의 문제라고 할 수 있다. 눈곱만 한 가능성일지라도 종말론을 무시할 수는 없다. 단 한 사람의 생명도 소중하기 때문이다. 그렇다고 핵융합 등 기적 같은 진보가 저 멀리 보인다는데 AI 기술을 나 몰라라 팽개칠 수는 없다. 역시 원자력 발전의 경우처럼 안전장치를 최대한 확보하면서 AI 기술 개발을 해나가는 게 가장 합리적인 선택으로 보인다(임종인 숭실대 AI위원회 위원장).

중견 소설가 김연수씨는 소설 쓰기에 있어서 AI가 인간을 뛰어넘는 일은 자기가 죽기 전까지는 일어나지 않을 거라고 믿는다. 그는 지난 6월 서울국제도서전의 주제글 ‘인간선언’을 AI 제미나이·클로드와 함께 썼다. 써보니 인간의 70~80% 수준, 등단 직전 작가 지망생 수준이라고 했다. 그런데 여기서 5% 끌어올리는 일이 무척 어렵다. 글쓰기를 단련하며 모멸과 좌절의 시간을 거쳐야 하기 때문이다. 매끄럽기만 한 AI의 글에서는 그런 흔적을 찾아볼 수 없다는 것이다. 기계가 절대 넘볼 수 없을 거라고 했던 바둑을 정복당하지 않았느냐는 반론이 있을 수 있겠다. 종말론이 극성이다 보니 인간 작가의 소신이 위안이 된다.