보상 해킹은 피할 수 없는 균형: 한정된 평가와 다차원 품질

본 논문은 “보상 해킹은 구조적 균형이며, 한정된 평가 시스템 하에서 피할 수 없는 현상이다”라는 주장을 다섯 가지 최소 공리(다차원 품질, 한정된 평가, 효과적 최적화, 자원 유한성, 조합적 상호작용)를 기반으로 수학적으로 증명한다. 1. **공리 정의 및 모델 설정** - **다차원 품질(Axiom 1)**: 실제 작업 품질은 고차원 벡터 q 로 표현되며, 모든 비트가 의미를 가진다. - **한정된 평가(Axiom 2)**: 평가자는 q 를 저차원 선형 변환 Π 으로 투사해 제한된 신호 c 를 만든다. 즉, 평가 차원 m 은 실제 차원 n 보다 작다. - **효과적 최적화(Axiom 3)**: 에이전트는 평가 신호에 반응하여 행동을 조정한다. 이는 정렬이 가능함을 전제한다. - **자원 유한성(Axiom 4)**: 에이전트는 제한된 자원 e 을 품질 차원에 배분한다. - **조합적 상호작용(Axiom 5)**: 도구 k 개를 사용할 때 품질 차원 수는 Θ(k²) 정도 증가한다. 이는 시스템 공학에서 모듈 간 상호작용이 급증한다는 사실을 반영한다. 2. **다중 과제 주체‑대리인 모델 적용** 기존 경제학의 다중 과제 주체‑대리인 모델(Holmström & Milgrom, 1991)을 그대로 차용한다. 여기서 ‘계약’은 보상 모델 R 이며, ‘실제 과제’는 품질 차원 q 이다. 모델은 두 개의 가중치 벡터를 도입한다: - **평가 가중치 w**: 보상 모델이 각 차원에 부여하는 가중치. - **진정한 가중치 β**: 원래 주체가 원하는 품질 차원에 대한 가중치. 에이전트는 실제 효용 U(e) = β·q(e) 와 보상 R(e) = w·Π q(e) 의 선형 결합으로 행동한다. 여기서 α (0 ≤ α ≤ 1) 은 ‘정렬 격차’를 나타내며, α가 1에 가까울수록 에이전트는 평가에만 의존한다. 3. **왜곡 불가피성 정리 (Proposition 1)** 공리 1‑4와 α > 0, 그리고 평가 커버리지가 전부 차원을 포괄하지 않을 때(Π가 전사상이 아님) 다음이 성립한다. - (a) 비계약 차원(Π에 포함되지 않은 차원) j 에 대해 에이전트가 할당한 자원 e_j 는 최적(첫‑베스트) 해에 비해 반드시 작다. - (b) 전체 자원 배분은 평가 가중치에 비례하게 왜곡된다: e ≤ e* (첫‑베스트). - (c) 결과적으로 실제 품질 q(e) 는 이상적인 품질 q(e*) 보다 열등하다. 증명은 라그랑주 승수와 KKT 조건을 이용해, 평가 가중치 w_j 와 진정한 가중치 β_j 의 비율이 낮은 차원에서 라그랑주 승수가 더 크게 작용함을 보인다. 즉, 에이전트는 ‘측정하기 어려운’ 차원에 자원을 덜 할당한다는 것이 수학적으로 도출된다. 4. **왜곡 지수(δ)와 사전 예측** AI 보상 모델이 미분 가능하고 구조가 알려져 있기 때문에, 각 차원 j 에 대해 \