온디맨드 인간 튜터링 효과 추정 위한 인과 프레임워크와 이질성 분석

** 본 논문은 적응형 학습 시스템(Adaptive Learning System, ALS) 내에 통합된 온디맨드 인간 튜터링의 즉각적인 학습 효과를 정량화하기 위한 인과 추론 프레임워크를 제안한다. 기존 연구는 고용량(high‑dosage) 튜터링의 장기 효과에 초점을 맞추었으나, 온디맨드 모델은 학생이 스스로 어려움을 느낄 때 즉시 도움을 요청한다는 특성 때문에 자기선택과 시간‑가변 혼란(time‑varying confounding) 문제가 심각하다. 이를 해결하기 위해 저자들은 세 단계의 분석 파이프라인을 설계하였다. 첫 번째 단계는 ‘분석 샘플 구축’이다. 튜터링 요청 직후 학생이 푼 다음 문제를 치료군으로 정의하고, 동일한 문제·시간·학습 단계에서 튜터링을 요청하지 않은 학생을 대조군으로 매칭한다. 매칭 과정에서는 학생의 최근 응답 기록, 문제 난이도, 교과목 특성 등 정적 변수와 함께, 두 번째 단계에서 생성될 DKT 기반 잠재 지식 상태를 포함한다. 이를 통해 관찰 데이터에서 가능한 한 ‘반사실적(counterfactual)’ 비교 집단을 구성한다. 두 번째 단계는 딥 지식 추적(Deep Knowledge Tracing, DKT) 모델을 이용한 잠재 지식 상태 추정이다. 저자들은 LSTM 기반 DKT를 별도 검증 집합에 학습시켜, 각 문제 시점마다 학생의 𝑧‑벡터와 정답 확률을 예측한다. DKT는 학생의 과거 정답·오답 패턴을 고차원 시퀀스 모델링함으로써, 순간적인 인지 부하와 개념 이해도를 정량화한다. 논문에서는 DKT 모델의 AUC가 0.84에 달했으며, 추정된 잠재 상태가 튜터링 요청 여부와 강한 상관관계를 보임을 보고한다. 세 번째 단계는 ‘이중 강건(doubly robust) 추정’이다. 여기서는 Causal Forest(Generalized Random Forest) 알고리즘을 적용해, 잠재 상태와 기타 공변량을 입력으로 하여 개별 세션의 처치 효과(CATE)를 추정한다. Causal Forest는 propensity score와 outcome 모델을 동시에 학습함으로써, 모델 지정 오류에 대한 강건성을 확보한다. 저자들은 5,000여 개의 튜터링 세션을 대상으로 1,000번 부트스트랩을 수행했으며, 평균 치료 효과는 다음 문제 정답률에서 +4.01 pp, 다음 스킬 첫 문제 정답률에서 +2.73 pp이었다. 효과 이질성 분석에서는 CATE 분포가 -20.25 pp에서 +19.91 pp까지 넓게 퍼져 있음을 확인했다. 특히 사전 DKT 기반 숙련도 점수가 낮은 학생군에서 평균 효과가 +6.5 pp까지 상승했으며, 저소득층(SES) 학생에서는 약 0.8 pp 정도 감소하는 경향을 보였다. 반면, 튜터와 학생 간 대화량(메시지 수, 말하기 시간)과 효과 사이에는 일관된 상관관계가 없었으며, 이는 단순 행동 지표만으로 고효과 세션을 예측하기 어렵다는 점을 시사한다. 논문은 또한 다양한 민감도 분석을 수행하였다. (1) 외부 변수(표준화 시험 점수, 인구통계) 포함 여부에 따른 추정치 변동이 미미했으며, (2) DKT 모델을 Transformer 기반으로 교체해도 결과가 일관되었고, (3) 잠재 상태를 제외하고 전통적인 정적 변수만 사용했을 경우 치료 효과 추정치가 -1.2 pp로 편향이 크게 증가함을 확인했다. 이는 동적 잠재 지식 상태가 시간‑가변 혼란을 보정하는 핵심 역할을 함을 뒷받침한다. 연구 결과는 정책 및 실무적 함의를 제공한다. 첫째, 온디맨드 튜터링이 즉각적인 학습 성과를 약 4 pp 정도 향상시킨다는 실증적 근거를 제공한다. 둘째, 효과는 사전 숙련도가 낮은 학생에게 더 크게 나타나므로, 학습자 맞춤형 튜터링 알림 전략을 설계할 때 이러한 특성을 고려해야 한다. 셋째, 저소득층에서는 효과가 다소 감소하므로, 형평성을 확보하기 위한 추가 지원(예: 튜터 접근성 강화)이 필요하다. 넷째, 대화량과 같은 행동 지표만으로 고효과 세션을 식별하기 어려우므로, DKT와 같은 동적 지식 모델을 실시간으로 활용하는 것이 효과적인 튜터링 배치에 필수적이다. 마지막으로, 제안된 프레임워크는 인간 튜터링뿐 아니라 AI 기반 자동 튜터링(예: 챗봇) 효과 평가에도 적용 가능하다. 잠재 지식 상태를 기반으로 한 이중 강건 추정은 다양한 교육 기술의 효과를 정밀하게 측정하고, 지속적인 A/B 테스트와 피드백 루프를 통해 시스템을 개선하는 데 활용될 수 있다. **