두 개의 순서가 있는 단조 회귀 곡선 최소제곱 추정

본 논문은 두 개의 단조(증가) 회귀곡선을 동시에 추정하면서, 두 곡선 사이에 항상 g₁(x) ≤ g₂(x) 라는 순서 제약을 부과하는 가중 최소제곱(L₂) 문제를 제시한다. 동일한 설계점 x₁,…,xₙ 에 대해 관측된 두 데이터 집합 y₁,…,yₙ 와 z₁,…,zₙ 이 주어지고, 각각에 양의 가중치 w_{1,j}, w_{2,j} 가 부여된다. 목표는 L₂(a,b)=∑_{j=1}^n w_{1,j}(y_j−a_j)²+∑_{j=1}^n w_{2,j}(z_j−b_j)² 를 최소화하면서 a₁≤…≤aₙ, b₁≤…≤bₙ, a_i≤b_i (i=1,…,n) 이라는 제약을 만족하는 (a*,b*) 를 찾는 것이다. **이론적 결과** 1. **존재·유일성**: 목적함수는 강볼록이며 제약 집합 𝓘ₙ 은 폐쇄·볼록이므로 최적해는 존재하고 유일하다. 2. **특성화**: 최적해는 KKT 조건을 변형한 식 (5)–(7)으로 표현된다. 이는 각 구간에서 잔차와 추정값의 가중합이 0이 되는 점을 의미한다. 3. **조건부 min‑max 표현**: a*와 b*는 각각 다른 곡선의 현재 추정값을 상한·하한으로 사용한 min‑max 공식(식 (8), (9))을 만족한다. 이때 Av₁, Av₂ 는 가중 평균 연산자이며, “∧”(min)와 “∨”(max) 연산으로 서로의 경계값을 결합한다. **계산 알고리즘** - **일반화된 PAVA**: 기존 PAVA는 단일 평균 함수 Av 에 대해 “평균 성질”(averaging property)을 이용해 위반 구간을 병합한다. 저자들은 집합 함수 M(A)=Av(A)∧max_A a₀ ∨ min_A a₁ 과 같은 형태가 동일한 평균 성질을 만족함을 증명하고, 이를 이용해 제한된 단조 회귀를 O(n) 시간에 해결한다. - **투사 서브그라디언트 방법**: 전체 최적화는 서브그라디언트 방향으로 이동한 뒤, 일반화 PAVA를 이용해 𝓘ₙ 에 투사하는 반복 과정을 사용한다. 각 반복은 (a,b) → (a−α∇_aL₂, b−α∇_bL₂) → PAVA‑투사 로 구성된다. 수렴성은 서브그라디언트 이론과 투사 연산의 비팽창성에 의해 보장된다. - **Dykstra와의 연계**: 알고리즘은 Dykstra의 교대 투사 방법과 수학적으로 동등함을 보이며, 두 방법 모두 동일한 고정점에 수렴한다는 점을 논의한다. **응용 사례** 기계공학 분야의 동적 재료 시험 데이터(Shim·Mohr, 2009)를 사용한다. 실험에서는 스트레인 x 에 대해 두 로딩 속도에 따른 응력 y (회색)와 z (검정) 데이터를 수집했으며, 총 1495개의 관측치가 있다. 물리적으로 응력은 스트레인에 대해 증가하고, 높은 로딩 속도일수록 응력‑변형 곡선이 위에 위치한다는 사전 지식이 있다. - 적용 결과, 추정된 ĝ₁, ĝ₂ 는 잡음이 크게 감소하면서도 단조·순서 제약을 정확히 만족한다. - 추가적인 스무딩(예: 로컬 회귀)으로 시각적 해석을 개선할 수 있음을 보여준다. **의의와 향후 연구** 본 연구는 두 개 이상의 단조 회귀곡선을 동시에 추정하면서 순서 제약을 부여하는 최초의 체계적 방법을 제시한다. 일반화 PAVA는 상한·하한, 다변량 순서, 혹은 복수 곡선 간 복합 제약 등 다양한 확장에 적용 가능하다. 투사 서브그라디언트 프레임워크는 대규모 데이터와 비정규 가중치에도 효율적으로 동작한다. 향후 연구는 - 비동일 설계점(서로 다른 x 값) - 비선형 가중치 혹은 로버스트 손실 함수(예: Huber) - 확률적 순서 모델(예: 순위 회귀, 서바이벌 분석) - 다변량(다차원) 단조 함수 추정 등을 포함한 일반화된 문제 설정을 탐구할 수 있다.