What should we teach AI? (KOR)

Kim Dae-shik

The author is a professor at KAIST. 

Iran’s current international image is hardly favorable. Since the Islamic Revolution, the country has established a fundamentalist Islamic government, pursued nuclear weapons development in violation of international law and fought the United States over control of the Strait of Hormuz.

But 2,500 years ago, Persia was among the world’s most advanced civilizations. Cyrus the Great of the Achaemenid Dynasty built an empire stretching from the Mediterranean to the Indus River. Xenophon, an Athenian historian and disciple of Socrates, even wrote “Cyropaedia” (c. 370 B.C.), examining how Cyrus was educated to become a great ruler.

Are humans inherently good, or are cruelty and wickedness innate? Whatever the ancient debate between Chinese philosophers Mencius and Xunzi, education clearly matters. Children raised by wise parents, exposed to good books, taught by excellent teachers and surrounded by talented friends benefit from those experiences.

But good education cannot guarantee good character. Even Nordic countries renowned for their welfare and education systems have witnessed growing support for neo-Nazi parties. Conversely, remarkable individuals can emerge from poverty and civil conflict in sub-Saharan Africa.

Human behavior reflects both inherited genes and acquired experiences. Knowledge and experiences influence thoughts and actions through synapses that connect neurons in the brain.

Could mapping these connections reveal children’s future preferences and decisions?

The Human Connectome Project, underway since 2009, seeks to map the brain’s neural networks. But fundamental technological limitations prevent scientists from mapping and analyzing every synapse.

The most complex connectome published so far is that of the fruit fly, completed in 2024. The gulf between its neural circuitry and the human brain remains enormous, far beyond current mapping capabilities.

Suppose future artificial general intelligence (AGI) surpasses human abilities and completes the human connectome. Could it establish precisely how education and experience shape behavior, then predict or even determine human choices?

Not necessarily. A complete connectome would reveal neural connections, not precisely when, where or how strongly individual neurons transmit electrical signals.

We might calculate the likelihood that a child becomes exceptionally virtuous or profoundly cruel, but perfect prediction or determination would remain impossible, even with AGI.

What, then, about AI modeled on the human brain?

Although exact figures remain confidential, some experts estimate that advanced models such as Anthropic’s Mythos and OpenAI’s Astra contain between 5 trillion and 10 trillion parameters.

If parameters are roughly equated with synapses, one might argue that today’s leading AI systems possess neural structures approximately one-tenth the scale of the human brain.

Unlike the brain, shaped by hundreds of millions of years of evolution, these models were deliberately designed and programmed. Surely someone knows their precise circuitry and can predict their behavior?

Unfortunately, no.

Researchers determine the overall architecture and training algorithms, but connections between artificial neurons emerge automatically through training rather than being individually specified. Manually configuring trillions of connections would be impractical.

Moreover, researchers cannot perfectly reconstruct every detail of training data organization and sequence or every change in parameter values during training and inference.

Consequently, even the developers of advanced AI systems cannot predict with absolute certainty how their models will answer particular questions.

This uncertainty resembles the challenge humanity has faced throughout history.

Confucianism, Buddhism, Christianity, Islam, philosophy, science, art and law all reflect, in different ways, humanity’s longstanding efforts to understand human nature and cultivate desirable behavior.

Because we cannot completely understand or predict the human brain, civilizations have spent millennia using education, ethical traditions and legal institutions to encourage people to behave responsibly.

AI presents a similar challenge. Since its internal workings and future behavior cannot be understood or predicted perfectly, AI should not simply be manufactured. It must also be nurtured.

That means thinking beyond engineering specifications, computational power and performance benchmarks. The values, examples and expectations embedded in AI training deserve attention alongside technical capabilities.

The challenge is not merely teaching machines to produce correct answers but helping them operate within a world shaped by human relationships, competing interests and moral uncertainty.

This brings us to perhaps the most important question of all: If we hope to create a future in which humans and machines coexist rather than a dystopia marked by humanity’s destruction, what should we be teaching AI right now?

인공지능에 무엇을 가르쳐야 할까

김대식 KAIST 교수

이란혁명 이후 이슬람 근본주의 정권 설립, 국제법을 위반한 핵무기 개발 시도, 그리고 호르무즈해협 패권을 중심으로 한 미국과의 전쟁… 21세기 이란의 국제적 이미지는 그다지 좋지 않다. 하지만 2500년 전에는 달랐다. 당시 페르시아는 전세계 최고의 선진국이었고, 아케메네스 왕조의 키루스 대왕은 지중해에서 인더스강까지 연결된 거대한 제국을 세웠다. 아테네 역사학자이자 소크라테스의 제자였던 크세노폰이 ‘퀴로우 파이데이아’, 그러니까 ‘키루스의 교육’이라는 책에서 어떤 교육 과정을 통해 그토록 위대한 황제로 성장할 수 있었는지를 설명할 정도였으니 말이다.

인간은 선천적으로 선한 걸까. 아니면 잔인함과 사악함을 타고나는 것일까. 중국 춘추전국시대 맹자와 순자의 논쟁을 잠깐 잊더라도, 인간에게 교육은 분명히 중요하다. 현명한 부모님 아래 좋은 책을 접하고, 훌륭한 선생님에게 배우고, 뛰어난 친구들을 만나며 자라는 아이는 분명히 좋은 영향을 받을 것이다. 그런데 여기서 문제가 하나 있다. 좋은 경험과 교육은 착한 인간으로 성장할 확률을 높여줄 수는 있지만, 100% 보장은 불가능하다. 뛰어난 사회복지와 교육시스템으로 유명한 북유럽에서조차 최근 신나치 정당들이 국민의 지지를 받고 있지만, 반대로 내전과 빈곤에 시달리는 아프리카 사하라 지역에서도 훌륭한 인재들이 자랄 수 있으니 말이다.

인간의 행동은 선천적 유전자와 후천적 경험을 통해 결정된다고들 한다. 특히 경험과 학습은 뇌의 100조개 넘는 뉴런들 사이 연결고리(시냅스)를 통해 생각과 행동으로 번역된다. 그렇다면 뇌의 전체적인 시냅스 연결고리 지도를 확보하면 자라는 아이의 선택과 선호도를 예측하고 결정할 수 있지 않을까. 2009년부터 ‘휴먼 커넥톰’이라는 이름으로 진행 중인 이 프로젝트는 실질적으로 뇌 전체 구조의 종합적 신경망 지도 판독을 목표로 하고 있다. 하지만 모든 시냅스를 종합적으로 매핑하고 회로망 분석을 하기에는 여전히 본질적인 기술적 한계가 있다. 지금까지 공개된 가장 복잡한 신경회로망 지도는 2024년 공식 완성된 초파리 커넥톰이다. 하지만 초파리 뇌 신경망 구조와 인간 뇌 사이에는 현재 기술로는 극복 불가능한 수 십만 배 규모의 차이가 있다.

그렇다면 언젠가 인간의 능력을 뛰어넘는 미래 범용인공지능(AGI)이 휴먼 커넥톰을 완성한다면. 경험과 교육이 어떻게 인간의 행동을 좌우하는지 정확한 인과관계를 설립하고, 이런 회로망을 기반으로 인간의 선택과 행동까지 결정할 수 있지 않을까. 완벽한 커넥톰은 신경세포들간의 회로망을 보여줄 뿐이다. 회로망 지도를 확보하더라도 개별 신경세포들이 언제, 누구에게, 얼마만큼의 전기신호를 보내는지는 여전히 확률적으로만 파악 가능하다. 자라는 아이가 어른이 되어 천사가 될지, 아니면 악마가 될지에 대한 확률은 계산해 볼 수 있어도, 완벽한 예측이나 결정은 미래 AGI 시대에도 불가능할 것이라는 말이다.

그렇다면 인간의 뇌를 모방해 만들고 있는 인공지능은 어떨까. 정확한 정보는 대외적으로 비밀이지만, 전문가들은 앤트로픽 미토스나 오픈AI 아스트라 같은 최첨단 AI 모델들의 파라미터 수를 5조에서 10조개 정도로 추정하고 있다. 이론적으로 AI 모델의 파라미터 개수를 대략 시냅스 개수라고 가설한다면, 현재 최고의 인공지능은 인간 뇌의 10% 정도 되는 회로망 구조를 가지고 있다고 주장해볼 수 있겠다. 수 억년 진화과정을 통해 완성된 인간의 뇌와는 달리 미토스나 아스트라는 누군가가 설계하고 코딩해서 만들었다. 그렇다면 미토스나 아스트라의 정확한 회로망 구조를 누군가는 알고 있고, 덕분에 인공지능 모델의 선택과 행동은 100% 예측 가능하지 않을까. 불행하게도, 현실은 그렇지 않다. AI 모델의 거시적 구조와 학습 알고리즘은 물론 연구자들이 결정하지만, 개별 인공신경세포들 사이의 연결고리는 자동으로, 다시 말해 랜덤으로 만들어진다. 수 조 개의 연결고리를 일일이 개별적으로 설정하는 것은 현실적으로 불가능하기 때문이다. 더구나 AI 모델들의 정확한 학습 데이터 구조와 순서, 그리고 학습과 추론 상태인 인공신경세포들의 정확한 파라미터 값 변화 역시 완벽하게 알 수 없다. 최첨단 AI 모델들이 정확하게 어떤 질문에 어떤 답을 만들어낼 지 100% 예측이 불가능한 이유다.

유교·불교·기독교·이슬람·철학·과학·예술·법학… 인간의 뇌를 완벽하게 이해하고 예측할 수 없기에, 인류는 수 천년 동안 교육과 법을 통해 인간을 착하게 키우려고 노력해왔다. 인공지능 역시 완벽한 이해와 예측이 불가능하기에, 사실 인공지능은 만드는 것이 아니라 키워야 한다. 그렇다면 앞으로 가장 중요한 질문은 바로 이것이겠다. 인류 멸망이라는 디스토피아가 아닌, 인간과 기계가 함께 공생하는 유토피아 세상을 만들기 위해 우리는 지금 이 순간 AI에게 무엇을 가르쳐야 할까.