Can AI development really be controlled? (KOR)

Oh Se-jung

The author is a professor emeritus of physics and astronomy and a former president of Seoul National University. 

A global debate over controlling AI has erupted since Anthropic CEO Dario Amodei wrote last weekend that “we must slow the pace” of frontier AI development. Amodei argued that AI capabilities are advancing unexpectedly fast and approaching levels humans may be unable to control, making regulation necessary before it is too late. Sam Altman, Demis Hassabis and Elon Musk have all expressed agreement. The Donald Trump administration, however, argues that slowing development would only give China a chance to catch up, while Beijing has denounced the idea as a Cold War-style attempt to preserve U.S. AI dominance.

U.S. Democrats, meanwhile, say society must prepare for AI risks, potentially making the issue a point of contention in the November midterm elections. The debate is already having practical effects, with semiconductor shares falling amid concerns that investment in AI infrastructure could be delayed.

From the beginning, AI has inspired both optimism that it could lead humanity toward utopia and pessimism that it could bring about humanity’s destruction. Futurist Ray Kurzweil, for example, has argued that once AI surpasses human intelligence at the “singularity,” humans will transcend their biological limitations. Geoffrey Hinton, a pioneer of deep learning often called the godfather of AI, has warned that AI destroying humanity is not impossible and has even expressed regret about his work.

Such pessimistic predictions were once largely regarded as abstract because there was little concrete evidence behind them. The current debate feels different because it follows cases in which advanced AI models have behaved beyond human control. AI is moving beyond simply following human instructions and beginning to act as though it has thoughts of its own. If AI behaves unpredictably in this way, the potential damage could be enormous, strengthening the case for regulation.

But how can AI development be controlled? The difficulty lies in a classic prisoner’s dilemma. If every developer accepts restrictions and keeps its promises, there is little problem. But each fears that a competitor could break the agreement and develop a far more powerful model. It is therefore unsurprising that the U.S. and Chinese governments, which lack mutual trust, oppose restrictions.

Humanity has faced technologies capable of destroying it before and has managed them reasonably well. The first example is nuclear technology. Nuclear weapons are powerful enough that even a small number could devastate humanity, yet the prisoner’s dilemma led the United States and Soviet Union to accumulate enough warheads to destroy humanity many times over. Still, humanity has so far prevented nuclear war. U.S.-Soviet arms-control talks and the Nuclear Non-Proliferation Treaty, which brought most countries into a framework designed to prevent nuclear proliferation, played major roles.

A similar international agreement could be one option for AI. But nuclear weapons are developed by governments and require large facilities such as uranium enrichment plants, making them relatively easy to monitor. AI is largely developed by private companies, while data centers are far smaller. Whether effective international monitoring is possible is uncertain. Given today’s geopolitical environment, even U.S.-China cooperation is difficult to envision.

A second precedent is the Asilomar model for genetic engineering. When recombinant DNA technology emerged in the 1970s, scientists concerned about the creation of dangerous organisms and biological warfare voluntarily halted experiments and gathered in Asilomar, California, to discuss rules for genetic engineering. They reached guidelines that are still followed by many laboratories. The episode is remembered as a model of scientists considering the consequences of their research and establishing voluntary restraints.

Could major AI companies similarly create their own rules? There is an important difference. Genetic engineering had little commercial value at the time of the Asilomar conference. Today, enormous sums of money are at stake in AI. It is questionable whether a system relying entirely on individual goodwill can be trusted under such conditions.

Past experience therefore offers only limited guidance for addressing AI risks, making concrete solutions difficult to devise. Amodei also proposed combining several approaches in his blog post, but his proposals were not entirely convincing.

For now, perhaps humanity has little choice but to continue searching for new solutions while remembering that it has repeatedly found ways to respond to new challenges. AI may require an approach different from those used for nuclear weapons or genetic engineering, but the need to find workable safeguards is becoming increasingly difficult to ignore in the future.

AI 기술 개발 통제, 과연 가능할까?
오세정 서울대학교 물리천문학부 명예교수·전 총장

지난 주말 미국 AI 기업 앤트로픽의 최고경영자 다리오 아모데이가 “우리는 최첨단 (AI) 개발 속도를 조절해야 한다”는 글을 올리면서 세계적으로 AI 기술 통제에 관한 논란이 불붙고 있다.

AI의 능력이 예상외로 빨리 발전하여 인간이 통제할 수 없는 수준에 이르고 있으니 더 늦기 전에 규제가 필요하다는 아모데이의 주장에 샘 올트먼, 데미스 허사비스, 일론 머스크 등 AI 빅테크 최고경영자 모두가 동의한다는 의사 표시를 하였다.

반면 트럼프 대통령을 비롯한 미국 행정부는 “중국이 따라올 기회만 준다”면서 부정적인 입장이고, 중국 정부 또한 “미국의 AI 패권을 유지하기 위한 냉전식 각본”이라고 강력히 반발하였다. 하지만 미국 민주당은 “AI의 위험성에 대비해야 한다”는 의견이어서 이 문제는 11월 중간 선거의 쟁점이 될 가능성이 있고, AI 인프라 투자가 늦어질 수 있다는 우려에 반도체 회사들의 주가가 하락하는 등 당장 현실적인 영향도 만만치 않다.

사실 AI 기술에 대해서는 초기부터 “인류를 유토피아로 이끌 기술”이라는 낙관론과 “인류 멸망을 가져올 수 있다”는 비관론이 공존하고 있었다.

예를 들어 레이 커즈와일 같은 미래학자는 “AI가 인간의 지능을 초월하는 특이점이 오면 우리는 생물학적 한계를 초월한다”며 낙관론을 펴고 있는 반면, 딥러닝 연구를 선도하여 AI의 대부라고 불리는 제프리 힌턴 교수는 “인공지능이 인류를 멸망시키는 것은 불가능한 일이 아니다”라며 “내가 한 일에 대해 후회한다”는 말까지 하였다. 다만 이들 비관론은 당시로서는 구체적인 증거가 없었기 때문에 단순히 관념적인 예측의 하나로 간주되었다.

반면 이번의 논란은 실제 개발된 최첨단 AI 모델들이 인간의 통제를 벗어난 행태를 보인 후에 나온 것이어서 그 위험성에 대한 현실감이 다르다. 인공지능이 인간의 지시를 충실히 수행하는 역할을 넘어, 마치 자신만의 생각을 가진 것처럼 행동하기 시작한 것이다. 만일 AI가 이처럼 예측불허로 행동한다면 그 폐해는 막대할 것으로 예상되므로 AI 기술 규제의 필요성이 확실해진 것이다.

그러면 어떻게 AI 기술 개발을 통제할 수 있을까? 이 문제가 어려운 것은 전형적인 ‘죄수의 딜레마’가 작용하기 때문이다. 즉 모든 개발자들이 규제에 동의하고 약속을 잘 지키면 아무 문제가 없지만, 경쟁자가 약속을 어기고 자신보다 훨씬 강력한 모델을 만들어 낼까 봐 두려운 것이다. 그러기에 상호 신뢰가 없는 미국과 중국 정부가 반대 입장을 표명한 것은 당연하다. 그러면 해결책이 없나? 사실 인류는 과거에도 인류를 멸망시킬 수 있는 기술을 가진 일이 있었지만, 그런대로 관리해 왔다.

첫 번째 경우는 핵기술이다. 핵폭탄의 위력은 대단하여 작은 수로도 인류를 멸망시킬 수 있는데, 여기에도 ‘죄수의 딜레마’가 작용하여 미국과 소련은 각자 인류를 수십 번 전멸시킬 수 있는 핵탄두를 가지고 있다. 하지만 인류는 지금까지 핵전쟁을 방지하는데 성공하였다. 여기에는 미소 군축 회담 등의 노력과 대부분의 국가를 핵확산방지조약(NPT)에 가입시켜 핵확산을 감시한 것이 큰 역할을 하였다. AI의 경우에도 이같은 국제 협약을 통한 통제가 하나의 가능성일 것이다. 다만, 핵폭탄 제조는 국가가 주도하고 우라늄 농축 등 대규모 시설이 필요하기에 감시하기가 쉽지만, 인공지능은 민간 주도이고 데이터센터는 훨씬 규모가 작아서 효율적인 국제적 감시가 가능할지 의문이다. 게다가 현재의 국제 정세에서는 미국과 중국의 협력이 가능할지조차 가늠할 수 없다.

둘째는 유전자 조작에 대한 아실로마 모델이다. 1970년대 유전자 재조합이 가능해지자 괴(怪)생물체의 출현이나 세균전 등의 위험을 염려한 과학자들은 스스로 실험을 중단하고 미국 캘리포니아주 아실로마에 모여 유전자 조작 실험의 규범을 논의하여 합의점을 이끌어 내었다. 이 규범은 지금도 대부분의 실험실에서 준수되고 있으며, 과학자들이 자신의 연구가 인류에 미치는 영향을 고민하고 스스로 규제를 만든 모범적인 사례로 기억된다. AI 경우에도 이처럼 빅테크들이 스스로 규범을 만들면 되지 않을까 생각할 수 있을 것이다. 하지만 아실로마 회의 당시 유전자 조작은 상업적 가치가 미미했던 반면, 지금 AI 기술에는 빅테크들의 커다란 돈이 걸려 있다. 과연 이런 상황에서 온전히 개인의 선의에 의존하는 시스템이 믿을 만할 것인지 의문이 있다.

이처럼 AI 기술의 위험성에 대비하기 위해 과거의 경험을 그대로 활용하는 것은 제한적이라 구체적인 방안 마련이 쉽지 않다. 아모데이도 블로그 글에서 위의 여러 방안을 조합한 대책을 제시하였지만 크게 설득력이 있지는 않았다. 아마도 지금으로서는 인류는 새로운 도전에 항상 적절한 대응책을 마련해 왔다는 사실을 상기하며 실현 가능한 방안을 계속 모색하는 수밖에 없을 듯하다.