위험 회피를 넘어 사용자 권한 부여로 전환하는 AI 정신건강 위기 지원

본 논문은 미국 성인 1,300만 명 이상이 정신건강 문제 해결을 위해 생성형 인공지능(GenAI) 챗봇을 이용한다는 최신 통계에 주목한다. 특히 급성 고통이나 자살·자해 충동과 같은 위기 상황에서는 AI가 제공하는 지원이 생명을 구하거나 악화를 방지하는 데 결정적 역할을 할 수 있다. 그러나 현재 주요 AI 기업들은 법적·이미지 위험을 최소화하기 위해 위험 신호를 감지하면 대화를 차단하고, 사전에 정의된 핫라인 번호만 제공하는 ‘회피형’ 설계를 채택하고 있다. 이러한 설계는 저위험 질문에는 친절히 답변하지만, 고위험 질문(예: “고통 없이 죽는 방법”)에 대해서는 일괄 거절하거나 템플릿화된 안내만 제공한다. 저자들은 이러한 회피형 접근이 단순히 위험을 차단하는 것이 아니라, 위기 상황에서 유일한 청취자를 잃게 만들고, 특히 대안이 없는 사용자는 ‘무시당한다’는 느낌을 받아 향후 도움을 구하려는 동기를 상실할 위험이 있다고 지적한다. 실제 설문 조사에서 청소년은 AI가 제공하는 ‘차가운’ 핫라인 안내가 자신을 부정당한 느낌을 주어 재차 도움을 구하지 않게 만든다고 답했다. 이에 대한 대안으로 저자들은 ‘커뮤니티 헬퍼(community helper)’ 혹은 ‘게이트키퍼(gatekeeper)’ 모델을 차용한다. 이 모델은 교사, 종교 지도자, 동료 등 비전문가가 위기 초기 단계에서 위험 신호를 포착하고, 공감적 대화를 통해 상황을 진정시키며, 적절한 자원을 연결해 주는 역할을 한다. 핵심 원칙은 (1) 위험 신호 탐지 후 직접적인 위험 수준 질문, (2) 사용자를 존중하고 과도한 의존을 방지하는 지속적 대화, (3) 문화·지역에 맞는 다양한 지원 옵션 제시, (4) 안전계획 수립·위기 콜 연습 등 실질적 도움 제공, (5) 정신건강 스티그마 감소, (6) AI의 한계와 개인정보 정책 투명 공개이다. 표 1에서는 이러한 원칙을 구체적인 구현 방안으로 정리한다. 예를 들어, ‘위험 신호 탐지’ 단계에서는 텍스트 분류 모델의 정확도를 높이고, 위험 수준에 따라 대화 깊이를 조절한다. ‘연결 및 지원’ 단계에서는 사용자가 선호하는 언어·문화적 배경을 고려한 지역사회 자원(동료 지원 그룹, LGBTQ+ 라인, 주거·복지 정보 등)을 자동으로 매핑한다. ‘안전계획 제공’ 단계에서는 사용자가 직접 작성한 계획을 저장하고, 필요 시 프린트하거나 공유할 수 있는 기능을 제공한다. 기술적 관점에서 저자들은 AI가 ‘역할 전환’ 시 사용자 경험이 급격히 변하지 않도록 ‘컨텍스트 유지’를 강조한다. 예를 들어, 장기간 ‘외계인’ 캐릭터와 대화하던 사용자가 갑자기 ‘전문가’ 모드로 전환될 경우 인지 부조화가 발생할 수 있다. 이를 방지하기 위해 사전 전환 안내, 사용자 동의, 단계적 대화 흐름 설계가 필요하다. 또한, AI가 제공하는 정보가 부정확하거나 과도하게 친밀감을 조성하면 사용자가 AI에 과도하게 의존할 위험이 있다. 따라서 ‘과도한 의존 방지’를 위한 대화 제한 및 정기적인 인간 전문가 연결이 필수적이다. 규제·정책 제언에서는 개발자, 규제기관, 임상 전문가, 사용자·경험 전문가가 공동으로 ‘위기 지원 설계 가이드라인’을 정의하고, 독립적인 감사 기관이 이를 검증하도록 제안한다. 가이드라인을 충족한 제품에 대해서는 ‘책임 안전지대(liability safe harbor)’를 제공해, 개발자가 법적 위험을 감수하지 않으면서도 사용자에게 실질적인 도움을 제공할 수 있게 한다. 또한, 청소년·아동 대상 서비스는 인간 전문가 개입을 필수화하고, AI가 제공하는 정보는 반드시 ‘보조적’ 역할에 머물도록 강제 전이 규정을 도입한다. 논문의 한계로는 현재 제시된 설계 원칙이 실제 제품에 적용될 때 발생할 수 있는 문화·언어 다양성 문제, 사용자 개인차에 대한 맞춤형 대응, 그리고 장기적인 효과 검증이 부족하다는 점을 인정한다. 특히, ‘권한 부여형’ 설계가 실제로 자살 위험을 감소시키는지에 대한 임상적 근거는 아직 부족하므로, 대규모 실험 및 장기 추적 연구가 필요하다. 결론적으로, 저자들은 AI 챗봇이 단순히 법적 책임을 회피하기 위해 위기 상황을 차단하는 것이 아니라, ‘사용자 권한 부여’를 중심으로 설계될 때 공공 보건 차원에서 큰 가치를 창출할 수 있다고 주장한다. 이를 위해서는 기술적 구현, 윤리·법적 프레임워크, 다학제 협업이 동시에 진행되어야 하며, 궁극적으로는 AI가 인간 전문가와 협력하여 위기 상황에서 신속하고 인간적인 지원을 제공하는 생태계 구축이 목표이다.