다층 비선형 혼합효과 모델을 위한 확장 SAEM 알고리즘

본 논문은 다중 계층 구조를 가진 비선형 혼합효과 모델(MNLMEM)의 파라미터 추정 문제를 다룬다. 이러한 모델은 임상시험의 교차오버 설계, 농업·산림 분야의 반복 측정 데이터 등에서 관측치가 여러 수준의 그룹(예: 환자‑병원‑지역)으로 중첩될 때 사용된다. 기존의 비선형 혼합효과 모델은 한 단계의 무작위 효과만을 포함해 베터윈-서브젝트 변이만을 설명했으며, 두 번째 수준(위드인-서브젝트) 변이를 무시하면 고정 효과와 공분산 추정에 편향이 발생한다는 점이 알려져 있다. 모델 정의는 관측치 y_{ijk} 를 시간 t_{ijk} 와 개별 파라미터 φ_{ik} 에 대한 비선형 함수 f와 g 로 표현한다. 파라미터 φ_{ik} 는 평균 μ, 단위 효과 β_k, 베터윈 무작위 효과 b_i, 위드인 무작위 효과 c_{ik} 의 합으로 구성된다. 즉, φ_{ik}=μ+β_k+b_i+c_{ik}이며, b_i∼N(0,Ω), c_{ik}∼N(0,Ψ)이다. 전체 파라미터 벡터는 θ=(μ,β,Ω,Ψ,σ²)이다. 비선형성 때문에 관측 데이터에 대한 우도 p(y;θ) 는 닫힌 형태가 없으며, 따라서 최대우도 추정을 위해 EM 알고리즘을 도입한다. 완전 데이터 로그우도 L_c(y,φ, b̃;θ) 를 정의하고, 베이즈 정리를 이용해 b̃(=μ+b) 의 조건부 분포를 가우시안으로 얻는다. 이때 E‑step은 두 부분으로 나뉜다. 첫 번째는 b̃에 대한 적분으로, 가우시안 특성 덕분에 해석적으로 계산 가능하다. 두 번째는 φ에 대한 적분으로, 비선형 함수 f 때문에 닫힌 해가 없으므로 확장 SAEM(확률적 근사 EM) 방법을 적용한다. SAEM 절차는 다음과 같다. (1) 시뮬레이션 단계: 현재 파라미터 θ^{(ℓ)} 에 대해 MCMC(예: Metropolis‑Hastings)로 φ^{(ℓ)} 샘플을 생성한다. (2) 확률적 근사 단계: 충분통계량 S₁~S₅ 를 Robbins‑Monro 업데이트식 s^{(ℓ+1)}=s^{(ℓ)}+γ_ℓ(S(·)-s^{(ℓ)}) 로 갱신한다. 여기서 S₁, S₂ 는 φ의 일차합계, S₃, S₄ 는 b̃의 조건부 평균·공분산에 기반한 통계량, S₅ 는 잔차 제곱합을 포함한다. (3) M‑step: 업데이트된 충분통계량을 이용해 μ,β,Ω,Ψ,σ²를 명시적 식으로 계산한다. 새로운 충분통계량 S₃, S₄ 는 기존 단일 수준 SAEM에 없던 항목이며, 베터윈·위드인 공분산 행렬을 동시에 추정하는 데 필수적이다. 수렴성은 Delyon 등(1999)의 가정 A1을 만족함을 증명했으며, 단계 크기 γ_ℓ 는 ∑γ_ℓ=∞, ∑γ_ℓ²<∞ 조건을 만족하는 일반적인 감소 시퀀스를 사용한다. 알고리즘의 성능을 검증하기 위해 두 기간 교차오버 약동학 시뮬레이션을 수행했다. 1000개의 데이터셋을 생성하고, 확장 SAEM과 R nlme 패키지의 FOCE를 비교했다. 결과는 SAEM이 거의 모든 파라미터에서 편향과 RMSE가 FOCE보다 작으며, 특히 Ω와 Ψ 추정에서 현저한 개선을 보였다. 실제 적용 사례로는 ANRS 107‑Puzzle 2 연구의 아타자나비르와 테노포비르 병용 약동학 데이터를 분석했다. 두 단계 무작위 효과를 포함한 모델에서 아타자나비르의 AUC가 약 30% 감소한다는 통계적으로 유의한 결과가 도출되었으며, 이는 약물 상호작용 평가에 다층 모델링이 필수적임을 시사한다. 결론적으로, 이 논문은 두 단계 무작위 효과를 갖는 비선형 혼합효과 모델에 대해 SAEM‑MCMC 기반의 효율적이고 수렴이 보장된 최대우도 추정 방법을 제시한다. 기존 선형화 기반 방법(FICE, FOCE)의 한계를 극복하고, 복잡한 임상·생물학 데이터에 적용 가능한 강력한 통계 도구를 제공한다.