Why students trust AI grades more (KOR)

Choi Hoon

The author is a professor at Hallym University 

The rise of AI is forcing universities to reconsider many aspects of education. Among the latest findings is an intriguing one: college students appear to trust AI evaluations more than those provided by their professors.

The result is not entirely surprising. Many people believe AI is more accurate and impartial than humans. Human judgment is limited by memory and other cognitive constraints, and people are often influenced by personal biases or emotions. AI, by contrast, is widely perceived as objective and consistent.

But is AI actually a more accurate evaluator?

Research to date suggests that human professors still outperform AI in assessing student learning. Studies comparing AI-generated evaluations with faculty assessments have found that the two often focus on different aspects of student work.

AI tends to emphasize general features such as writing quality, organization and overall completeness. Professors, however, are more likely to focus on whether students have correctly understood and applied key theories and concepts.

As a result, an instructor may award a high grade to a paper with spelling mistakes or awkward sentences if it demonstrates a strong grasp of the subject matter. AI may be less forgiving of such flaws and place greater weight on presentation. While some may argue that neither approach is inherently superior, many educators would contend that understanding the material is the primary goal of learning. In that sense, a professor’s evaluation may be closer to what most people consider meaningful assessment.

Another issue drawing attention is AI’s tendency toward self-enhancement. In psychology, self-enhancement refers to the inclination to view oneself more positively than objective evidence would justify. Research suggests AI systems can display a similar pattern.

When evaluating outputs generated by different models, AI systems have sometimes rated their own work more highly than work produced by competitors. In practical terms, ChatGPT may give a higher score to a report it generated than to one created by Gemini or Claude. Such findings raise questions about whether AI can always serve as a neutral evaluator.

AI technology continues to improve, and it may eventually become more accurate than human instructors in assessing student performance. For now, however, a more important question remains: Why do students trust AI more than their professors?

Ultimately, the issue is not who conducts the evaluation but whether the evaluation itself is trusted. Even in the AI era, building confidence in assessment remains essential. Creating and maintaining that trust is still the responsibility of educators.

AI의 학생평가, 교수보다 정확하다?

최훈 한림대 교수

AI 시대. 대학 교육도 고민이 깊다. 이 와중에 흥미로운 연구가 보고되었다. 대학생들이 교수보다 AI의 평가를 더 정확하다고 믿는다는 내용이다.

새로운 결과는 아니다. 일반적으로 AI가 인간보다 더 정확하고 공평하다고 생각하는 경향이 있다. 인간은 기억력을 포함한 인지 능력에 한계가 있고, 선입견 및 현재의 감정에 영향받는 것이 사실이니까.

그런데 정말 AI는 인간보다 더 정확한 평가자일까? 현재까지는 AI보다는 교수의 평가가 더 정확하다는 결과가 많다. AI와 인간 교수의 평가 결과를 비교한 한 연구에 따르면, AI는 문장력, 글의 형식, 전반적인 완성도와 같은 일반적인 특성에 집중해 평가한 반면, 교수들은 학생이 이론을 제대로 이해했는지에 집중하여 평가했다고 보았다. 즉, 교수들은 맞춤법이 틀리고, 매우 유치한 수준의 문장이어도, 핵심 이론을 제대로 이해했다면 좋은 점수를 주었다는 이야기가 된다. 이런 평가가 더 정확하다고 하기 어려울지 모르지만, 그래도 우리가 생각하는 좋은 평가에 더 가깝지 않은가?

최근 AI의 자기 고양적 편향 현상도 주목받고 있다. 자신을 실제보다 더 유능하고 긍정적으로 보려는 심리적 경향이 있는데, AI도 자신이 만들어낸 결과물에 대해 더 높은 평가를 한다. 즉, 챗GPT는 자신이 만들어낸 보고서를 제미나이나 클로드가 만들어낸 보고서보다 더 높게 평가했다는 이야기이다.

물론 현재 AI 발전은 진행 중이고, AI가 인간보다 더 정확한 평가자가 될 날이 올지도 모른다. 그러나 지금 우리에게 더 필요한 질문은 왜 학생이 교수보다 AI를 더 공정한 평가자로 믿게 되었는가이지 않을까? 중요한 것은 누가 평가하느냐가 아니라 그 평가가 얼마나 신뢰받을 수 있느냐이다. AI 시대에도 평가에 대한 신뢰를 만들어가는 일, 그것은 여전히 교육자의 몫일 것이다.