수학 언어 처리로 자동 채점·피드백 구현

** 이 논문은 대규모 온라인 교육 환경에서 수학 서술형 문제의 채점과 피드백을 자동화하기 위한 ‘Mathematical Language Processing (MLP)’ 프레임워크를 제안한다. 전통적인 자동 채점 시스템은 객관식·다중 선택형 문제에 국한되거나, 동료 채점에 의존해 강사의 부담을 완전히 해소하지 못한다. 저자들은 이러한 문제점을 해결하고자, 학습자들이 제출한 풀이를 수치형 특징으로 변환하고, 클러스터링을 통해 정답·부분정답·오답 군을 자동으로 구분한 뒤, 강사가 각 군에 하나씩 점수를 매기면 나머지 풀이를 자동으로 채점하는 방식을 설계하였다. **1. 특징 추출** 풀이 문서는 텍스트와 수식이 혼합된 형태이다. 텍스트는 현재 피드백 생성에 활용되지 않으며, 수식만을 대상으로 한다. 수식은 SymPy 파서를 이용해 기호적 형태로 변환하고, 산술적·대수적 단순화를 수행한다. 여기서 중요한 점은 문제에 따라 단순화 수준을 조절해야 한다는 것이다. 예를 들어, 삼각함수 항등식 sin²x+cos²x=1을 이용한 변형을 학습자가 직접 수행했는지 여부를 판단하려면 자동 단순화를 억제해야 한다. 정규화된 수식들을 고유 식별자에 매핑하고, 전체 풀이 집합에서 등장하는 고유 수식의 총 개수 V를 구한다. 이후 V × N 이진 행렬 Y를 만든다. Y(i,j)=1이면 i번째 수식이 j번째 풀이에 포함된다는 의미이며, 순서는 무시한다. 이 행렬은 풀이 간 유사도 계산과 클러스터링의 기반이 된다. **2. 클러스터링 방법** MLP‑S는 Y를 이용해 풀이 간 유사도 S_{ij}= (y_i^T y_j) / min(‖y_i‖²,‖y_j‖²) 를 정의한다. 이는 두 풀이가 공유하는 수식 비율을 나타내며, 0~1 사이 값을 가진다. 이 유사도 행렬에 기존 클러스터링 알고리즘을 적용한다. 스펙트럴 클러스터링은 군 수 K를 사전에 지정해야 하지만, 어피니티 프로퍼게이션은 자동으로 군 수를 결정한다. 두 방법 모두 실제 MOOC 데이터에서 의미 있는 군을 형성했으며, 시각화 결과는 강사가 공통 오류 패턴을 직관적으로 파악하도록 돕는다. MLP‑B는 베이지안 비모수 모델을 사용한다. 각 풀이에 잠재 군 변수 z_i를 할당하고, 군별 베타-베르누이 파라미터를 추정한다. 디리클레 프로세스 혼합 모델(DPMM)과 Gibbs 샘플링을 통해 사후 분포를 근사한다. 이 접근법은 데이터에 따라 군 수가 자동으로 조정되며, 군 간 경계가 흐릿하거나 군 크기가 크게 차이날 때도 안정적인 군집을 만든다. 또한 다단계 풀이를 단계별로 클러스터링해, 학습자가 언제 올바른 흐름에서 벗어났는지를 추적할 수 있다. **3. 자동 채점 및 피드백** 클러스터가 형성되면 강사는 각 군에 대표 풀이 하나씩 채점한다(예: 0~3점). 이후 동일 군에 속한 모든 풀이에 동일 점수를 부여함으로써 대규모 자동 채점이 가능해진다. 특히 MLP‑B는 단계별 클러스터 정보를 활용해 오류 발생 지점을 시각적으로 표시한다. 예를 들어, 4단계 풀이 중 3번째 단계에서 군이 ‘정답 군’에서 ‘오답 군’으로 전환되면, 해당 단계가 오류 위치로 제시된다. **4. 실험 및 결과** 저자들은 Coursera·edX 기반의 여러 MOOC 강좌에서 수집한 2,000~5,000건 규모의 미분, 적분, 신호 처리 문제 풀이를 대상으로 실험을 수행했다. MLP‑S와 MLP‑B 모두 강사의 실제 채점과 비교했을 때 85~92%의 일치율을 보였으며, 부분점수 부여 정확도는 기존 이진 채점 방식보다 30% 이상 향상되었다. 클러스터 시각화는 강사가 “공통 오류 군”을 빠르게 식별하도록 도와, 맞춤형 보강 자료 제작에 활용될 수 있음을 보여준다. **5. 논의 및 향후 연구** 본 연구는 수학 서술형 채점 자동화에 중요한 첫 걸음을 제시하지만, 몇 가지 제한점이 있다. 현재는 풀이 순서를 무시하고 ‘bag‑of‑expressions’만 사용하므로, 동일 수식이 다른 순서로 나타나는 경우를 구분하지 못한다. 또한 복잡한 증명·정리 문제에 대한 논리적 검증이 부족하고, SymPy 단순화 수준을 수동으로 조정해야 하는 실무적 부담이 있다. 향후 연구에서는 (1) 순서 정보를 포함한 시퀀스 모델(예: 트랜스포머 기반) 도입, (2) 수식 그래프 표현을 활용한 구조적 특징 추출, (3) 자동 단순화 정책을 학습하는 메타러닝 기법 등을 탐색함으로써 현재 한계를 극복하고, 보다 폭넓은 수학 영역에 적용 가능한 자동 채점 시스템을 구축할 수 있을 것이다. **