온도 스케일링, 불확실성 조절의 새로운 시각

본 논문은 온도 스케일링(Temperature Scaling)을 이론적으로 정밀 분석하고, 두 주요 응용 분야인 분류기 캘리브레이션과 대형 언어 모델(LLM) 텍스트 생성에서의 역할을 재조명한다. 1. **온도 스케일링 정의와 기본 성질** - 사전 학습된 모델 f가 출력하는 로그잇 z∈ℝ^K에 스칼라 β>0(역온도)를 곱해 Softmax를 적용하면 새로운 확률 분포 πβ=Softmax(βz) 를 얻는다. - β가 양수이므로 로그잇의 순서는 변하지 않아 하드 예측(argmax)과 정확도는 그대로 유지된다(accuracy‑preserving). - 로그잇 대신 로그 확률 log π를 사용해도 동일한 결과가 나오며, 이는 Softmax가 비가역적이지만 β·log π와 β·z가 같은 정규화 형태를 갖기 때문이다. 2. **분류기에서의 불확실성 증가** - 엔트로피 H(πβ)와 β의 관계를 미분하면 dH/dβ ≥ 0임을 보인다. 이는 Lemma 1(분할함수 Z의 1차·2차 미분이 기대값·분산과 동일)에서 직접 도출된다. - 교차 엔트로피 손실 L(β)=−(1/n)∑log pβ(y_i|x_i) 은 β에 대해 부드럽고 볼록하며, 최소 하나의 비동점 예측이 있으면 엄격히 볼록한다. 따라서 최적 β는 유일하고 효율적인 수치 최적화(예: Brent, bisection)로 찾을 수 있다. - 교차 엔트로피 최소화는 KL(p_true‖pβ) 를 최소화하는 것과 동치이며, 이는 “가장 가까운 모델”이라는 정보이론적 해석을 제공한다. 3. **정보 투영(Information Projection) 해석** - 목표 엔트로피 H₀를 정하면, 온도 스케일링된 모델 pβ는 원래 모델 p와 KL 발산을 최소화하면서 H(pβ)=H₀ 를 만족하는 유일한 분포가 된다. 이는  min_{q∈Δ_K} KL(q‖p) s.t. H(q)=H₀ 문제의 정규해와 동일함을 증명한다. 따라서 온도 스케일링은 엔트로피 제약 하에서 원 모델을 가장 가깝게 투영하는 기하학적 연산이다. 4. **정확도 보존 선형 스케일러의 유일성** - 일반적인 선형 스케일러는 p̃(y|x)=Softmax(Wz+b) 형태이며, 여기서 W∈ℝ^{K×K}, b∈ℝ^K이다. - 논문은 “정확도 보존”(hard predictions unchanged)이라는 조건을 만족하는 선형 스케일러는 W=β·I, b=0 즉 온도 스케일링뿐임을 증명한다. 행렬 스케일링이나 Dirichlet 캘리브레이션은 파라미터가 더 많아 과적합 위험이 크고, 정확도가 변할 가능성이 있다. 5. **LLM에서 온도와 다양성** - LLM에서는 온도 스케일링이 토큰 확률을 평탄화해 엔트로피를 증가시키지만, 실제 텍스트 생성의 “다양성”(예: n‑gram 다양성, 의미적 다양성)과는 직접적인 상관관계가 없을 수 있다. - 높은 온도라도 상위 토큰 확률이 압도적으로 크면 샘플링 결과는 여전히 제한적이며, 반대로 낮은 온도에서도 토큰 집합이 넓다면 다양성이 유지될 수 있다. - 실험적 분석(논문 본문에 포함되지 않은 부분)과 이론적 논증을 통해 “온도가 높을수록 창의성이 증가한다”는 일반적 믿음은 제한적 상황에만 적용된다는 점을 강조한다. 6. **확장 및 관련 작업** - 온도 스케일링은 행렬 스케일링, Dirichlet 캘리브레이션 등 보다 복잡한 선형/비선형 스케일러의 특수한 경우이며, 이들 방법은 파라미터 수가 많아 작은 캘리브레이션 세트에서 과적합 위험이 있다. - 기존 연구(Clarté et al., 2023; Berta et al., 2025 등)와 비교해, 본 논문은 온도 스케일링의 근본적인 수학적 특성을 명시적으로 증명함으로써, 경험적 성공 뒤에 숨은 이론적 근거를 제공한다. **결론** 온도 스케일링은 단순히 “스칼라를 곱한다”는 직관적 조작을 넘어, 엔트로피 제어, KL‑투영, 정확도 보존이라는 세 가지 핵심 속성을 동시에 만족하는 강력한 도구임을 입증한다. 특히 분류기 캘리브레이션에서는 손실 함수의 볼록성으로 최적 β를 안정적으로 찾을 수 있고, LLM에서는 다양성에 대한 오해를 바로잡으며, 보다 정교한 스케일링 기법과 비교해 파라미터 효율성과 정확도 유지 측면에서 우수함을 확인한다.