When AI attacks banks, AI must be part of the defense (KOR)

Lee Kwang-hyung

The author is a former president of KAIST.

A human attacked the bank, but the weapon was new: artificial intelligence. Recent cyberattacks targeting Korean financial institutions showed signs of AI involvement, with some customer information compromised. According to an analysis by a U.S. cybersecurity company, attackers connected an AI-powered security testing tool called Artex to multiple AI models. However, the precise intrusion methods and AI's role at individual institutions require further investigation.

Previously, hackers had to gather information, write programs and adjust their methods manually after failures. Now AI can handle repetitive tasks: identifying targets, testing vulnerabilities, analyzing results and trying again. Humans set objectives while AI automates parts of the process, accelerating attacks and reducing costs.

Three technological developments explain this transformation.

First is the emergence of agentic AI. Conventional conversational AI answers questions and explains procedures. Agentic AI receives objectives, uses tools and executes multistep tasks. Ask a chatbot about flights to Jeju, and it provides schedules. Ask an AI agent to book a suitable flight, and it can check calendars, compare options and complete reservations.

Multiple agents can also divide tasks and operate simultaneously. In cyberattacks, they can examine network vulnerabilities and automatically test alternative entry points when attempts fail. What once required a burglar to inspect every entrance can now be accomplished by several automated tools working together.

Second is the proliferation of open AI models and automation tools. Some models can be downloaded and operated independently, while publicly available software connects different AI systems with other programs.

Artex, implicated in the recent incident, is not an AI model itself but a tool for automating security assessments. Such technologies help researchers and cybersecurity specialists strengthen defenses, but criminals can exploit them too.

Third, offense and defense are two sides of the same coin. Security professionals searching for vulnerabilities and hackers seeking entry points often employ similar techniques. A knife can serve as a surgical instrument or a weapon.

Moreover, banks cannot readily see what instructions attackers give their AI systems. They can only examine traces of activity, including login records, information requests and program execution.

One distinction remains essential: AI did not independently attack the banks. Humans used it to commit crimes, and responsibility rests with those directing and carrying out those acts. Nevertheless, AI developers and financial institutions must also be examined for their safety precautions.

I propose three responses.

First, AI developers and service providers must make safety a fundamental product requirement. Before release, they should thoroughly test potentially dangerous uses and respond quickly to suspicious activity.

When AI executes external programs or transfers large quantities of information, permissions should be restricted. Potentially damaging actions should require human approval, with detailed records identifying who authorized and executed them.

Crimes involving open models present additional challenges. Widely distributed software cannot easily be recalled or monitored. Yet blanket prohibitions would also obstruct legitimate security researchers using identical technologies to identify and repair vulnerabilities.

Research and defensive applications must remain accessible while unauthorized intrusions and personal information theft face strict accountability.

Second, banks must transform their defenses. Passing an initial security barrier should never automatically establish trust. Internal systems should be segmented, and employees and contractors should access only information necessary for their duties.

This approach, known as Zero Trust, requires rigorous identity verification and access controls. Even legitimate accounts should trigger immediate scrutiny when they retrieve unusually large amounts of information within short periods.

Banks should also deploy AI defensively. Security AI can rapidly identify suspicious patterns across enormous volumes of access records. Preventing intrusions matters, but containing damage after breaches is equally important.

Effective defenses must include mechanisms to stop information leaks and restore systems quickly. Only then can banks build resilient protection against increasingly automated attacks.

Third, governments must act. Hackers cross national borders while investigations and regulatory oversight remain divided among jurisdictions. Even domestically, financial regulators, investigators, banks and AI companies have different responsibilities.

Authorities should establish systems for rapidly sharing information about attack methods and emerging threats. International cooperation is also essential for identifying, pursuing and prosecuting cybercriminals.

Humanity has developed rules with every major technological innovation. Rather than abolishing automobiles, societies introduced traffic lights and seat belts. AI likewise cannot be governed through prohibition alone. Sensible regulation should preserve its benefits while controlling its risks.

Offensive weapons and defensive shields have always evolved together. In the AI era, attackers can continuously search for vulnerable systems. Defenders must learn and respond at comparable speed.

But humans must decide what AI may do, where its actions must stop and who bears responsibility when safeguards fail.

As AI knocks on banks' doors, technology is not the only thing requiring improvement. Our readiness to govern, deploy and defend against that technology must improve just as quickly.

AI로 낮아진 해킹 문턱, ‘제로 트러스트’로 맞서야

이광형 전 KAIST 총장

은행을 공격한 것은 사람이었다. 그러나 그 손에는 새로운 도구가 들려 있었다. 인공지능(AI)이다. 최근 국내 금융권을 겨냥한 해킹에서 AI를 이용한 공격 정황이 드러났다. 일부 고객 정보도 유출됐다. 미국 보안업체의 분석에 따르면 공격자는 ‘아텍스(ARTEX)’라는 AI 기반 보안점검 도구를 여러 AI 모델과 연결해 사용했다. 다만 개별 금융기관의 침입 경로와 AI가 맡은 역할은 더 확인이 필요하다.

예전 해커는 정보를 모으고 프로그램을 만들었다. 실패하면 직접 방법을 바꿔야 했다. 이제는 AI에 반복 작업을 맡길 수 있다. 접속할 곳을 찾고, 약점을 시험하고, 결과를 분석해 다시 시도한다. 사람은 목표를 정하고 AI가 일부 과정을 자동화한다. 공격의 속도는 빨라지고 비용은 낮아진다. 해킹의 문턱이 낮아진 셈이다. 이를 이해하려면 세 가지 기술 변화를 살펴볼 필요가 있다.

에이전트 AI의 해킹 수법

첫째는 에이전트(agent·대행자) AI의 등장이다. 대화형 AI가 주로 질문에 답하고 방법을 설명한다면, 에이전트 AI는 목표를 지시받아 필요한 도구를 스스로 사용하고 여러 단계의 일을 실행한다. 예를 들어 대화형에서는 “제주행 항공편을 알려줘”라는 요청에는 시간표를 알려주면 된다. 그러나 에이전트는 “내 일정에 맞는 제주행 항공권을 예약해 줘”라고 하면 일정 확인, 항공편 검색, 조건 비교, 예약 절차까지 수행한다.

에이전트 하나만으로도 이런 작업을 순서대로 수행할 수 있지만, 필요하면 여러 에이전트가 역할을 나누어 동시에 움직이기도 한다. 해킹에서도 여러 에이전트가 고객 접속망의 약점을 살피고, 실패하면 다른 경로를 시험하는 과정을 자동화할 수 있다. 과거 도둑이 혼자 현관과 울타리를 살폈다면, 이제는 여러 도구가 각기 다른 출입구를 빠르게 점검하는 셈이다.

둘째는 공개 AI 모델과 자동화 도구의 확산이다. 누구나 내려받아 직접 실행할 수 있는 AI 모델이 있고, 여러 AI를 다른 프로그램에 연결해 주는 공개 도구도 있다. 이번 사건에서 거론된 아텍스는 AI 모델 자체가 아니라, 보안점검을 자동화하는 도구다. 이런 공개 기술은 후발주자의 연구를 돕고 보안 전문가의 방어 능력도 높인다. 그러나 범죄자 역시 이를 활용할 수 있다.

셋째는 공격과 방어가 동전의 양면이라는 점이다. 보안 담당자가 약점을 찾아 고치는 작업과 해커가 침입할 곳을 찾는 작업은 기술적으로 닮았다. 칼이 수술 도구이면서 흉기가 될 수 있는 것과 같다. 더욱이 은행의 보안 컴퓨터는 공격자가 AI에 어떤 명령을 내렸는지 알기 어렵다. 은행이 확인할 수 있는 것은 접속 기록과 정보 조회, 프로그램 실행 같은 행동의 흔적이다.

그래도 분명한 것은 AI가 스스로 은행을 공격한 것은 아니라는 점이다. 사람의 범죄 행위에 AI가 도구로 쓰인 것이다. 범죄를 지시하고 실행한 사람에게 책임이 있는 것이다. 동시에 AI 개발회사와 금융기관이 안전을 위해 어떤 조치를 했는지도 살펴야 한다. 이제 세 가지 대응책을 제안하고자 한다.

AI 개발자의 책임성 강화

첫째, AI를 개발하고 서비스하는 회사는 안전을 제품의 기본 조건으로 삼아야 한다. 공개 전에 위험한 사용 가능성을 충분히 시험하고, 이상 징후가 발견되면 신속히 대응해야 한다. 특히 AI가 외부 프로그램을 실행하거나 많은 정보를 옮길 때는 권한을 좁혀야 한다. 피해가 클 가능성이 있는 행동은 사람이 확인한 뒤 실행하도록 하고, 누가 무엇을 실행했는지도 기록해야 한다.

공개 모델이나 공개 도구를 이용한 범죄는 더 복잡하다. 이미 널리 퍼진 프로그램을 일일이 회수하거나 사용을 감시하기 어렵다. 그렇다고 공개 기술을 일률적으로 금지할 수도 없다. 같은 기술로 은행의 취약점을 찾아 고치는 보안 전문가들이 있기 때문이다. 연구와 방어에 필요한 통로는 열어 두되, 무단 침입과 개인정보 탈취에는 엄정하게 책임을 물어야 한다.

둘째, 은행은 방어 방법을 바꿔야 한다. 일차 방어벽을 구축했다고 안심해서는 안 된다. 내부 시스템을 구역별로 나누고, 직원과 협력업체에도 업무상 필요한 정보만 허용해야 한다. 이를 ‘제로 트러스트(Zero Trust)’라고 한다. 외부와 연결된 곳에서는 본인 확인과 접근 권한을 철저히 검증해야 한다. 정상적인 계정으로 들어오더라도 짧은 시간에 많은 정보를 조회한다면 즉시 점검해야 한다.

공격자가 AI를 활용한다면 은행도 방어에 AI를 적극 활용할 필요가 있다. 방어용 AI는 방대한 접속 기록에서 수상한 움직임을 빠르게 찾아낼 수 있다. 침입을 막는 것 못지않게, 뚫린 뒤 피해가 퍼지지 않게 하는 일도 중요하다. 정보 유출 차단과 신속한 복구까지 준비해야 비로소 튼튼한 방패가 된다.

수사·감독 기관의 공동 대응

셋째, 정부도 역할을 해야 한다. 해커는 국경을 넘나들지만 수사와 감독은 나라별로 나뉘어 있다. 국내에서도 금융당국과 수사기관, 은행, AI 회사의 역할이 다르다. 공격 수법과 위험 정보를 신속히 공유하는 제도를 정비해야 한다. 범죄자 추적과 처벌을 위한 국제 협력도 필요하다.

인류는 새로운 기술이 나올 때마다 규칙도 만들었다. 자동차를 없애는 대신 신호등과 안전띠를 만들었듯, AI도 금지만으로 다스릴 수 없다. AI도 지혜롭게 규제하여 문명의 이기 역할을 하게 해야 한다. 창과 방패는 늘 함께 발전해 왔다. AI 시대의 창은 쉬지 않고 약한 문을 찾아다닌다. 방패 역시 AI의 속도로 배우고 움직여야 한다. 그러나 무엇을 허락하고 어디에서 멈추게 할지, 실패했을 때 누가 책임질지는 사람이 정해야 한다. AI가 은행 문을 두드리는 지금, 우리가 먼저 고쳐야 할 것은 기술만이 아니다. 그 기술을 다루는 우리의 준비다.