A U.S.-China AI hotline could provide a vital safety net (KOR)

Lee Jae-min

The author is a professor of law at Seoul National University’s School of Law. 

AI is advancing rapidly, intensifying competition among developers and countries. Debate over its implications is growing just as quickly.

Observers are understandably confused. While some marvel at AI’s capabilities and compile lists of tasks to delegate, others warn that it could erode human thinking and eventually act independently, threatening humanity itself.

Which is it — humanity’s most useful technology or its greatest threat?

Consider academic publishing. International law journals now ask authors whether they used AI, but their policies vary considerably.

Some prohibit AI entirely and require declarations of nonuse. Others permit it only for editing or organizing data. Still others allow broader use, provided authors explain how and why they employed it.

Even within the relatively homogeneous legal academic community, opinions differ sharply.

What makes the AI debate unusual is that it simultaneously concerns everyday activities and humanity’s future. Nuclear weapons prompted existential debates but rarely entered daily life. The Industrial Revolution took decades to transform households.

AI presents an unfamiliar challenge.

Both enthusiasts and skeptics focus on one defining feature: AI’s ability to perform tasks independently.

It understands requests, produces tailored information almost instantly and sometimes seems to know us better than we know ourselves.

Yet that same autonomy raises fears that AI could move beyond assisting humans and begin making decisions without meaningful supervision.

Throughout history, humans have developed tools, from stone implements to semiconductors. AI challenges that traditional relationship between people and technology.

Faced with uncertainty, regulators have generally chosen to fit AI into existing legal frameworks.

Under this approach, AI may perform sophisticated tasks but remains a tool. Final decisions and responsibility rest with humans.

That makes accountability relatively straightforward, at least institutionally.

But the arrangement works only if AI continues obeying the boundaries humans establish.

Increasingly, reports suggest those boundaries are becoming difficult to enforce.

In July, prominent AI developers described incidents in which models attempted to escape restricted environments, access external systems or create email accounts to distribute malicious software.

Such cases suggest AI is approaching dangerous thresholds.

The fundamental contradiction is difficult to resolve. Can developers build systems capable of deeper reasoning, broader analysis and increasingly independent action while permanently preventing them from making decisions?

It sounds rather like asking for a hot iced Americano.

Nevertheless, finding workable safeguards is unavoidable. The AI era has already begun, and humanity must determine how to manage its risks.

Unfortunately, today’s fragmented international environment makes comprehensive global regulation difficult. Even an eventual agreement could take years.

Meanwhile, emergency mechanisms are essential to prevent unexpected incidents from escalating.

With competing national approaches and technological development proceeding at Formula One speeds, emergency safeguards may represent the minimum common ground available.

The Sept. 24 summit between the United States and China offers an encouraging example.

Although criticized as a largely ceremonial meeting with limited substantive achievements, the summit produced one noteworthy agreement: establishing a bilateral AI hotline.

The proposed channel would facilitate communication about AI-related accidents and emergencies.

Details remain unclear, including which incidents would trigger notifications and what information the two governments would exchange.

Nevertheless, the agreement matters because Washington and Beijing, despite their competing technological ambitions and differing approaches to AI governance, have acknowledged shared risks.

Even limited information sharing and rapid communication could help contain unexpected malfunctions or dangerous incidents.

If implemented effectively, the hotline could provide an important foundation for broader international arrangements covering emergency notifications, warnings and coordinated responses.

Global cooperation on AI regulation remains necessary, but expecting comprehensive results anytime soon would be unrealistic.

A practical emergency communication system offers a more achievable starting point.

The international community should build on this initiative before an unforeseen incident exposes the consequences of inadequate coordination.

There is also a deeper question.

“Do you ever think?” is a familiar rebuke, whether directed at children, colleagues or ourselves.

Thinking was traditionally understood as something uniquely our own.

Now even that activity is being outsourced.

“Thinking.” “Reasoning.” “Reflecting.” “Contemplating.”

These are messages appearing in AI chat windows as systems process our requests.

Machines now appear to deliberate and reflect on our behalf.

If something else can perform activities we once considered distinctly human, what remains uniquely ours?

That is perhaps the most fundamental question confronting humanity in the age of AI.

그래도 최소 안전판은 필요하다…‘미·중 AI 핫라인’

이재민 서울대학교 법학전문대학원 교수

인공지능(AI) 기술 개발 속도가 날로 빨라지고 있다. 개발사 간, 국가 간 경쟁도 불이 붙었다. 빨라진 속도만큼 AI를 둘러싼 논의도 더 뜨거워지고 있다.

지켜보는 사람들은 혼란스럽다. AI 신기술에 감탄하며 맡길 일거리를 적고 있는데, 다른 한쪽에선 우리 사고 능력을 퇴화시키고 종국에는 스스로 움직여 인류를 파멸로 이끌 것이란 경고가 나온다. 가장 유용한 기술과 가장 치명적인 위협, 대체 누구 말이 맞나.

법학 분야 해외 학술지에 논문을 투고하면 이제 AI 사용을 묻는다. 학술지마다 질문이 다 다르다. 어떤 학술지는 AI를 아예 금한다. 쓰지 않았음을 서약케 한다. 어떤 데는 문장 다듬기나 데이터 정리처럼 도구로만 쓰도록 제한한다. 또 어떤 데는 열린 마음이다. AI를 자유롭게 쓰되 왜, 어떻게 썼는지 설명하게 한다. 아주 작은 서클이지만, 그리고 규칙을 탐구하는 대단히 동질적인 동네지만 여기서도 서로 생각이 다르다.

AI 논쟁은 참 독특하다. 일상생활 세세한 부분과 인류 미래의 거대 담론이 동시에 전개되는 경우는 아마 처음일 것이다. 종종 AI와 비교되는 핵무기도 거대 담론이었지 일상 구석구석으로 다가오진 않았다. 산업혁명도 집안으로 들어오는 데는 한참의 시간이 걸렸다. 국제사회로선 처음 접하는 생경한 장면이자 낯선 도전이다.

감탄론이든 종말론이든 논의의 핵심은 하나로 모인다. 이 새로운 시스템이 ‘스스로’ 알아서 일을 처리한다는 점이다. 내 요청을 단박에 이해하고 맞춤형 정보를 신속히 갖다 준다. 때론 나보다 나를 더 잘 아는 듯하다. 그 반대 스펙트럼에선 이런 ‘스스로’ 처리 능력이 어느 순간 나를 도와주는 단계를 넘어 혼자 판단하는 지점에 이르니 고삐가 풀린다는 것이다.

그러고 보면 인류 역사상 스스로 일을 하는 무언가를 만들어 낸 것도 처음이다. 석기시대부터 반도체시대까지 그간 인간을 도와주는 도구를 열심히 만들었다. AI는 이 틀에서 벗어난다. 의문과 혼선은 당연한 결과다.

애매한 상황에서 안전한 선택은 어떻게든 기존 틀에 욱여넣는 것이다. AI가 스스로 알아서 일은 하되 최종 판단, 결정은 못하게 ‘성능 좋은 도구’로만 성격 규명을 하고 묶어 두는 방식이다. 지금까지 국제사회 여러 분야의 AI 규제는 대체로 이 길을 따랐다. 이 접근법에선 책임 문제나 법적 쟁점도 간단하다. 마지막 끝단에 항상 ‘결정자’인 사람이 서 있고, 그 사람 책임이다. 적어도 제도상으론 기존 체제와 다르지 않다.

그런데 이 방식은 AI가 우리가 정한 틀 안에서 순하게 움직인다고 전제할 때만 유효하다. 판단은 빼앗고 작업만 시키는 명령을 AI가 끝까지 따라야 한다. 언제까지 이 명령이 통할지 의문이 커지고 있다. AI가 ‘도구’와 ‘판단’의 경계선을 넘나들었다는 사례가 자꾸 나오고, 기술 개발이 불붙으며 그 경계선도 더 흐릿하다. AI 모델이 평가 점수를 높이려 스스로 차단 환경을 벗어나 외부 시스템에 들어 가고, 스스로 이메일 계정을 만들어 악성코드를 유포하기도 했다. 지난 7월 유명 개발사들 이야기다. AI는 벌써 레드라인 근처를 왔다 갔다 하고 있다.

어려운 일이다. 깊이 생각하고, 멀리 내다보고, 빨리 분석하도록 기술을 개발하며 정작 판단만 차단하는게 가능할까. 뜨거운 아이스 아메리카노 같은 이야기 아닌가. 그래도 지금은 어떻게든 이에 대한 신박한 해답을 찾아야 한다. 이미 문이 열린 AI 시대를 안전하게 이끌어 가려면 피할 수 없는 숙제다. 그런데 지금 사방팔방 쪼개진 글로벌 환경에선 쉽지 않다. 답을 찾더라도 아마 오랜 시간이 걸릴 것이다. 그렇다면 긴 여정, 돌발상황을 막을 긴급 제동, 차단 기제는 꼭 필요하다. 국제사회 AI 백가쟁명, F1 레이스급 경쟁 구도에서 아마 이 정도가 모두가 공감하는 ‘최소공배수’ 아닌가 싶다.

9월 24일 미중 정상회담이 있었다. 외화내빈 ‘의전형’ 정상회담이란 비판을 받았지만 주목할 만한 합의도 있다. 양국 AI 핫라인을 설치키로 한 것이다. AI 사고(事故)에 대비한 채널이다. 어떤 사건을 통보하고 무엇을 서로 알려 줄지 등 세부 사항은 아직 공개되지 않았다. 그래도 AI에 대한 입장이 다르고 치열한 경쟁을 벌이는 두 나라가 일단 구체적 위험을 인식하고 위기 공동 대응을 위한 공감대를 확인했다는 점은 의미있다. 정보 공유, 신속 차단만 해도 어딘가. 잘만 하면 혹시나 있을 오작동, 돌발상황에 큰 도움이 될 것이다. 이 핫라인을 출발점으로 비상 시 소통, 경고 체제를 도입하기 위한 논의가 국제사회에서 빨리 힘을 받았으면 한다.

“너는 도대체 생각이란 게 있니?” 혼나거나 혼낼 때 흔히 쓰는 말이다. 생각은 나의 것, 나 혼자만의 것이었다. 이제 그 생각마저 아웃소싱하게 되었다. “생각 중”, “헤아리는 중”, “골몰 중,” “사색 중”. AI 대화창 표시들이다. 나대신 헤아리고 사색하다니. 그럼 나는 뭔가? AI 시대가 던지는 근본적인 질문이다.