Cost per task emerges as next test for AI memory boom (KOR)

Lee Soo-hwa

The author is a research professor of Big Data Innovation Convergence College at Seoul National University and the head of the AI Center at DLG Law Corporation.

Lee Dong-soo, CEO of A2SYS, recently offered an explanation for surging memory demand: It is not simply that AI agents consume enormous amounts of memory, but that nobody knows how much they will need.

Citing research showing that token consumption can vary 30-fold even when the same model tackles the same problem, with the model unable to predict usage beforehand, Lee argues that demand includes an “uncertainty premium” as companies stockpile capacity.

How agents operate also determines costs. Experiments by a team led by KAIST distinguished professor Yoo Min-soo using Meta’s Llama 3.1 70B model found that an agent repeatedly reviewing and revising its answers consumed 136.5 times the GPU energy of a conventional chatbot response. Exploring multiple solutions simultaneously required less than half that energy while raising accuracy from 67 to 82 percent.

Yet equating exploding token usage with equally explosive demand for high bandwidth memory, or HBM, tells only half the story. Model weights remain fixed. Tokens retained as context occupy capacity in the key-value cache, while newly generated tokens consume bandwidth through repeated access to weights and cached information. During token-by-token generation, bandwidth can become a greater constraint than computing power.

Nor can today's shortages be attributed solely to uncertainty. Micron says HBM requires roughly three times as many wafers as conventional DRAM to produce the same number of bits, approaching four times for newer generations. It has contracted most of next year's HBM supply and expects memory markets to tighten over the following two years.

That makes measuring what Lee calls the “memory elasticity of intelligence” essential: the marginal productivity of memory. How much does adding HBM improve concurrent user capacity and response speed? Without answers, accumulated inventory could become an expensive idle asset when new factories increase supply.

Efficiency does not necessarily reduce demand. In “The Coal Question” (1865), William Stanley Jevons observed that improvements in steam-engine efficiency ultimately increased coal consumption. Likewise, caching, compression and routing could reduce memory costs per task while encouraging wider AI adoption and greater overall HBM demand. But this paradox cannot tell investors which facilities will benefit.

Nvidia calls data centers "AI factories" producing tokens. Customers, however, purchase completed tasks, not tokens. The decisive metric should be total memory, electricity and GPU costs per successfully completed task, extending Lee's proposed measure to include power and time. As uncertainty surrounding AI investment recedes, corporate valuations will depend less on memory volumes than on the cost of work that memory actually completes.

AI 시대에 주목받는 메모리 한계생산성

이수화 서울대 빅데이터혁신융합대학 연구교수·법무법인 디엘지AI센터장

이동수 에이투시스 대표가 최근 SNS에 과감한 주장을 올렸다. 메모리 수요 폭발은 에이전트 AI가 메모리를 많이 쓰기 때문만이 아니라, 얼마나 필요한지 아무도 모르기 때문이라는 것이다. 같은 문제를 같은 모델이 풀어도 토큰 사용량이 최대 30배 차이 나고 모델 스스로도 실행 전엔 이를 예측하지 못한다는 연구를 근거로, 그는 일단 넉넉히 확보하고 보는 ‘불확실성 프리미엄’이 수요에 붙어 있다고 진단한다.

일하는 방식도 비용에 영향을 끼친다. 유민수 KAIST 석좌교수팀이 라마 3.1 70B 모델로 실험해 보니, 스스로 되돌아보며 답을 고치는 에이전트는 질문 한 건에 일반 챗봇 응답의 136.5배에 이르는 GPU 에너지를 썼다. 같은 모델로 여러 풀이를 동시에 탐색한 경우 그 절반의 에너지를 쓰고도 정답률은 67%에서 82%로 올라갔다.

다만 토큰 폭증을 HBM 수요 폭증으로 읽는 것은 절반만 맞다. 모델 가중치는 고정돼 있다. 문맥으로 쌓아 둔 토큰은 KV 캐시로 용량을, 새로 생성하는 토큰은 가중치와 캐시를 거듭 읽으며 대역폭을 잡아먹는다. 답을 한 토큰씩 만드는 단계에선 연산보다 대역폭이 병목이 되기 쉽다.

그렇다고 지금 품귀를 불확실성 프리미엄만으로 설명할 수는 없다. 마이크론에 따르면 HBM은 같은 비트를 만드는 데 일반 D램의 약 3배 웨이퍼를 쓰고, 차세대로 갈수록 4배에 가까워진다. 마이크론은 내년 HBM 물량 대부분을 계약했고, 향후 2년 메모리 수급이 지금보다 빡빡할 것으로 봤다.

그래서 이 대표가 ‘지능의 메모리 탄력성’이라 부른 ‘메모리의 한계생산성’을 따져야 한다. HBM을 더 붙였을 때 동시 이용자 수와 응답 속도는 얼마나 나아지는가. 이 질문에 답하지 못한 채 쌓아 둔 HBM은 새 공장들이 돌아 공급이 느는 순간 값비싼 유휴 자산이 될 수 있다.

효율이 수요를 줄인다는 뜻은 아니다. 윌리엄 스탠리 제번스는 1865년 『석탄 문제』에서 와트의 증기기관이 석탄을 아끼자 오히려 석탄 소비가 늘었다고 진단했다. 캐시·압축·라우팅이 작업당 메모리 비용을 낮추면 에이전트 사용이 늘어 HBM 총수요는 더 커질 수 있다. 다만 이 역설은 총수요의 이야기일 뿐, 늘어난 수요가 어느 설비로 갈지는 말해주지 않는다.

엔비디아는 데이터센터를 토큰 찍어내는 ‘AI 공장’이라 부른다. 그러나 고객이 사는 것은 토큰이 아니라 끝난 일이다. 시장이 확인해야 할 숫자는 성공한 작업 한 건당 메모리·전력·GPU에 드는 총비용이다. 이 대표가 제안한 ‘성공 작업당 메모리 비용’을 전력과 시간까지 넓힌 지표다. 앞으로 더 많은 메모리가 아니라 메모리가 끝낸 작업 한 건의 값이 기업 가치를 가를 것이다.