AI 의료진단에서 XAI의 복합적 영향

📝 원문 정보

• Title: Explainable AI as a Double-Edged Sword in Dermatology: The Impact on Clinicians versus The Public
• ArXiv ID: 2512.12500
• 발행일: 2025-12-14
• 저자: Xuhai Xu, Haoyu Hu, Haoran Zhang, Will Ke Wang, Reina Wang, Luis R. Soenksen, Omar Badri, Sheharbano Jafry, Elise Burger, Lotanna Nwandu, Apoorva Mehta, Erik P. Duhaime, Asif Qasim, Hause Lin, Janis Pereira, Jonathan Hershon, Paulius Mui, Alejandro A. Gru, Noémie Elhadad, Lena Mamykina, Matthew Groh, Philipp Tschandl, Roxana Daneshjou, Marzyeh Ghassemi

📝 초록 (Abstract)

인공지능(AI)은 의사 보조부터 소비자 애플리케이션에 이르기까지 의료 분야에 점점 더 깊게 스며들고 있다. AI 알고리즘의 불투명성은 인간과의 상호작용을 어렵게 하지만, 설명 가능한 AI(XAI)는 이러한 문제를 해결하기 위해 AI 의사결정 과정을 제공한다. 그러나 XAI가 역설적으로 과도한 의존이나 편향을 유발할 수 있다는 증거가 있다. 본 연구에서는 공정성 기반 진단 AI 모델과 다양한 XAI 설명 방법을 결합하여 두 개의 대규모 실험(일반인 623명, 내과 의사 153명)에서 XAI 지원, 특히 다중 모달 대형 언어 모델(LLM)이 진단 성능에 어떻게 영향을 미치는지 살펴보았다. AI 지원은 피부 톤 간 균형을 맞춤으로써 정확도를 높이고 진단 불균형을 줄였다. 그러나 LLM 설명은 다양한 효과를 보여주었다: 일반 사용자는 자동화 편향이 증가하여 AI가 올바르면 정확도가 향상되고, AI가 오류를 범하면 감소했다. 반면 경험 있는 내과 의사들은 AI의 정확성에 관계없이 이점을 누렸다. AI 제안을 먼저 제공하는 것도 두 그룹 모두에게 AI가 잘못될 때 나쁜 결과를 초래하였다. 이러한 결과는 XAI의 영향이 전문성과 시기에 따라 다르다는 점을 강조하고, LLMs을 의료 AI에서 '양날의 검'으로 보고 미래의 인간-AI 협업 시스템 설계에 대한 통찰력을 제공한다.

💡 논문 핵심 해설 (Deep Analysis)

본 논문은 인공지능(AI)이 의료 분야에 미치는 복잡한 영향을 탐구하고 있다. 특히, 설명 가능한 AI(XAI)의 도입이 진단 정확도와 의사결정 과정에 어떤 효과를 미치는지를 살펴보았다. 연구에서는 일반인과 내과 의사 두 그룹을 대상으로 실험을 진행하였으며, 이를 통해 XAI가 사용자들의 전문성과 AI 제안의 타이밍에 따라 다양한 결과를 보여주는 것을 확인하였다.

연구결과, 피부 톤 간 균형을 맞춤으로써 AI 지원은 진단 정확도를 높이고 불균형을 줄이는 효과가 있었다. 그러나 LLMs을 통한 설명은 일반 사용자와 내과 의사 사이에서 상이한 결과를 보였다. 일반 사용자는 AI의 정확성에 따라 자동화 편향이 증가하여, AI가 올바르면 진단 정확도가 높아지고, AI가 오류를 범하면 감소하였다. 반면 내과 의사들은 AI의 정확성에 관계없이 XAI 지원을 통해 이점을 누렸다.

또한, AI 제안을 먼저 제공하는 경우 두 그룹 모두에게 AI가 잘못될 때 나쁜 결과를 초래하였다는 점도 주목할 만하다. 이러한 결과는 XAI의 효과가 사용자들의 전문성과 정보 제공 타이밍에 따라 크게 달라질 수 있다는 것을 시사한다.

본 연구는 의료 분야에서 AI와 인간 간 협업을 개선하기 위한 설계 방향성을 제시하며, 특히 LLMs을 ‘양날의 검’으로 보고 있다. 이는 XAI가 진단 정확도를 높일 수 있는 동시에 사용자들의 편향이나 의존도를 증가시키는 부작용이 있을 수 있다는 점을 강조한다.

📄 논문 본문 발췌 (Excerpt)

📸 추가 이미지 갤러리

Reference