서열형 서프리얼 곡선과 엔트로피를 활용한 최소쌍 확장: 다중 도메인 평가 프레임워크

본 논문은 대형 언어 모델(LLM)의 평가 방법을 기존의 최소쌍(minimal pairs) 패러다임에서 크게 확장한다. 최소쌍은 두 문장을 미세하게 변형시켜 모델이 문법적으로 올바른 문장을 더 높은 확률로 할당하는지를 확인하는 방식으로, 주로 이진 문법 판단에 사용되어 왔다. 그러나 이러한 접근은 (1) 텍스트 생성에 의존해 비용이 많이 든다, (2) 모델이 사후에 만든 설명(‘post‑hoc rationalization’)에 의존할 위험이 있다, (3) 모델의 불확실성을 정량화하지 못한다는 한계가 있다. 이를 해결하기 위해 저자는 서열형(ordinal) 스케일을 도입한다. 설문 조사나 평점 시스템처럼 1‑5, 1‑9와 같은 정수형 점수 옵션을 갖는 과제에 대해, 모델이 각 점수 토큰을 이어받을 확률을 직접 측정한다. 구체적으로, 프롬프트는 “다음 문장에 대해 1부터 5까지 점수를 매겨 주세요:”와 같이 끝을 점수 토큰 직전까지 제시하고, 모델이 해당 위치에서 각 점수 토큰을 선택할 로그 확률을 추출한다. 서프리얼(surprisal)은 이 로그 확률의 부호를 반대로 한 값(−log p)으로 정의되며, 값이 작을수록 모델이 해당 토큰을 ‘덜 놀라운’ 선택으로 간주한다. 각 점수에 대한 서프리얼을 모두 구하면 서프리얼 곡선이 형성된다. 이 곡선의 최소값이 모델이 가장 선호하는 점수를 나타내며, 곡선이 평탄하거나 여러 최소값을 가질 경우 모델이 해당 질문에 대해 불확실함을 의미한다. 불확실성은 엔트로피(entropy)로 정량화한다. 엔트로피는 전체 확률 분포의 평균 서프리얼이며, 값이 클수록 분포가 고르게 퍼져 있어 모델이 확신이 없음을 나타낸다. 논문은 네 가지 실용 도메인에 이 프레임워크를 적용한다. 1. **사회‑생태‑기술 시스템 분류**: 복합 시스템을 ‘사회’, ‘생태’, ‘기술’ 중 하나로 라벨링하는 작업이다. 서프리얼 곡선은 각 라벨에 해당하는 점수(예: 1‑사회, 2‑생태, 3‑기술)에서 최소값을 보였으며, 다중 속성을 가진 시스템(예: ‘스마트 그리드’)에서는 엔트로피가 크게 상승해 인간 검토가 필요함을 알렸다. 2. **인과문 식별**: 문장이 인과 관계를 포함하는지 여부를 이진 및 서열형(1‑5)으로 판단한다. 인과관계가 명확한 문장은 ‘5’에 가까운 점수에서 서프리얼이 최소였고, 모호한 문장은 엔트로피가 높았다. 인간 라벨러와의 상관관계는 0.78로 높은 일치를 보였다. 3. **비유 탐지**: 은유, 직유, 무비유 등 세부 라벨을 1‑3 스케일로 구분한다. 서프리얼 곡선은 ‘은유’가 명확히 드러나는 경우 해당 점수에서 뚜렷한 최소값을 보였으며, 비유가 혼합된 문장은 엔트로피가 상승해 모델이 혼동함을 드러냈다. 4. **정성 코딩**: 인터뷰 텍스트를 주제 라벨(‘동기’, ‘장벽’, ‘전략’)에 매핑한다. 기존 인간 코더와 비교했을 때, 서프리얼 기반 자동 라벨링은 85% 이상의 정확도를 유지했으며, 엔트로피가 높은 구간을 별도 검토 대상으로 지정해 전체 코딩 효율을 30% 향상시켰다. 실험 결과는 서프리얼 곡선이 기대 점수와 일치하는 경우가 대부분이며, 엔트로피가 높은 경우가 인간이 ‘모호함’이라고 판단하는 사례와 높은 상관관계를 가진다는 점을 강조한다. 또한, 표면 형태 편향(surface form competition)을 최소화하기 위해 토큰 앞에 고정된 공백을 삽입하고, 동일 프롬프트를 여러 변형으로 테스트해 결과의 견고성을 확보했다. 이 접근법의 장점은 (1) 텍스트 생성 없이 토큰 확률만으로 평가가 가능해 비용이 크게 절감된다, (2) 모델이 스스로 만든 설명에 의존하지 않아 평가의 순수성을 유지한다, (3) 엔트로피를 통해 불확실성을 정량화함으로써 고위험 의사결정 상황에서 인간 검증이 필요한 사례를 자동으로 식별한다는 점이다. 하지만 한계도 존재한다. 현재는 단일 토큰(‘1’, ‘2’, …)에 대한 서프리얼만 측정하므로, 복합적인 문구(예: “strongly agree”)에 대한 정확한 확률을 추정하기 어렵다. 또한, 엔트로피가 높다고 해서 반드시 인간이 느끼는 모호함과 일치한다는 보장은 없으며, 모델의 사전 학습 데이터 편향이 서프리얼 곡선에 영향을 미칠 가능성도 있다. 향후 연구에서는 다중 토큰 시퀀스에 대한 누적 서프리얼을 고려하거나, 캘리브레이션 기법과 결합해 보다 정교한 불확실성 추정 방법을 탐색할 필요가 있다. 결론적으로, 이 논문은 최소쌍 평가를 서열형 스케일과 엔트로피 분석으로 확장함으로써, LLM의 내부 확률 구조를 비용 효율적으로 탐색하고, 다양한 실용 도메인에서 신뢰성 있는 분류·평가 도구로 활용할 수 있음을 입증한다.