아날로그 설계 최적화를 위한 배우‑비평가(Actor‑Critic) 프레임워크

아날로그 회로 설계는 트랜지스터 크기와 바이어스 조정에 따라 성능이 비선형적으로 변하고, 각 조합마다 SPICE 시뮬레이션이 필요하기 때문에 설계 주기가 매우 길다. 기존의 최적화 기법은 Bayesian Optimization(BO)이나 LLM 기반 후보 생성 등으로 시뮬레이션 횟수를 줄이려 했지만, 대부분이 ‘블랙박스’ 탐색에 머물러 설계자가 직관적으로 영역을 좁히는 판단을 반영하지 못했다. 본 논문은 이러한 문제를 해결하기 위해 Actor‑Critic Optimization Framework(ACOF)를 제안한다. ACOF는 두 개의 논리적 에이전트, 즉 ‘배우(actor)’와 ‘비평가(critic)’로 구성된다. 1. **배우(actor)**: 초기 캘리브레이션 샘플 C₀(예: 몇 개의 유효 설계)와 전체 설계 도메인 Ω를 입력으로 받아, 후보 탐색 영역 ˜Ωₙ을 생성한다. 여기서 배우는 LLM(GPT‑4o Mini 등)을 활용해 “R6을 20k‑35k 사이로, L56을 0.32‑0.90 µm 등”과 같은 범위 제안을 만든다. 배우는 매 라운드마다 이전 라운드 요약 eₙ₋₁을 받아, 어떤 파라미터가 고성능을 보였는지, 어느 영역에서 정체가 발생했는지를 학습한다. 2. **비평가(critic)**: 제안된 ˜Ωₙ을 검증·보정한다. 검증 단계에서는 PDK 경계, 전력·면적 제한, 회로 안정성(위상 마진 등) 등을 체크한다. 보정 단계에서는 탐색 영역이 너무 넓어 샘플 효율이 떨어지면 범위를 좁히고, 반대로 지나치게 좁아 탐색이 정체되면 폭을 넓힌다. 비평가는 “valid_rate(prev)=1.0, valid_rate(curr)=0.94 → 영역 축소”와 같은 규칙 기반 메트릭을 사용한다. 3. **BO와 시뮬레이션**: 비평가가 승인한 Ω⁺ₙ 안에서 BO가 후보 집합 Xₙ을 선택한다. BO는 Gaussian Process 서러게이트와 Expected Improvement(EI) 혹은 Weighted EI를 활용해 샘플 효율을 극대화한다. 선택된 설계는 SPICE 시뮬레이션을 통해 실제 FoM f(x)를 얻는다. 4. **라운드 요약 및 반영**: 시뮬레이션 결과 Dₙ={ (x, f(x)) }를 요약 함수 g(·)가 압축해 eₙ를 만든다. 이 요약에는 최고 성능 설계, 평균 성능, 비평가 메모(“R6을 21.5k‑27k 로 축소”)가 포함된다. eₙ는 다음 라운드 배우에게 입력돼 새로운 ˜Ωₙ₊₁을 만든다. 이러한 순환 구조는 설계자가 “어디에 집중할지”라는 메타 판단을 자동화하면서도, 비평가가 설계 규칙을 지속적으로 강제해 탐색이 비실현 가능 영역에 빠지는 것을 방지한다. **실험 설정**: 4개의 벤치마크 회로(130 nm·12 파라미터, 180 nm·12 파라미터, 130 nm·17 파라미터, 180 nm·21 파라미터)를 대상으로 ACOF와 세 가지 베이스라인(단일 LLM, Pure‑BO, Human Expert)을 비교했다. 각 회로마다 3번의 독립 실행을 수행해 평균 Top‑10 FoM, Regret, 시뮬레이션 성공률, 물리적 타당성 등을 측정했다. **주요 결과**: - ACOF는 Top‑10 FoM을 평균 38.9% 향상, Regret을 평균 24.7% 감소시켰다. - 최고 성능 회로(180 nm·21 파라미터)에서는 FoM이 70.5% 상승하고 Regret이 42.2% 감소했다. - 시뮬레이션 성공률과 물리적 타당성도 모두 베이스라인보다 높았다(예: 99.3% vs 95.4%). - UMAP 시각화는 ACOF가 고성능 영역을 빠르게 탐색하고, 탐색 영역이 점진적으로 수렴하는 모습을 보여준다. **기술적 인사이트**: - 영역 기반 제안은 고차원 파라미터 공간을 직접 샘플링하는 것보다 효율적이며, 비평가가 영역을 동적으로 조정함으로써 탐색 편향을 최소화한다. - LLM 기반 배우는 인간 설계자의 직관을 언어 모델에 매핑해 빠르게 초기 탐색 영역을 생성한다. - 비평가의 규칙 기반 검증은 설계 규격 위반을 사전에 차단해 시뮬레이션 비용을 절감한다. - 라운드 요약에 포함된 ‘반영 메모’는 인간 설계자와의 협업 가능성을 열어, 자동화와 해석 가능성을 동시에 제공한다. **제한점 및 향후 과제**: - 배우가 LLM에 의존하므로 프롬프트 설계와 모델 선택이 성능에 큰 영향을 미친다. - 비평가의 규칙은 현재 수동 정의돼 있어, 복잡한 다중 목표(전력·면적·노이즈 등) 상황에서는 자동화된 규칙 학습이 필요하다. - 시뮬레이션 예산이 제한된 경우, 라운드 수가 늘어나면 전체 수렴 시간이 증가할 수 있다. - 현재는 BO만을 서브 옵티마이저로 사용했지만, 진화 알고리즘이나 강화학습 기반 탐색기와의 결합도 탐색 효율을 더 높일 가능성이 있다. 결론적으로, ACOF는 배우‑비평가 구조를 통해 아날로그 설계 최적화에 인간 설계자의 판단 메커니즘을 효과적으로 도입함으로써, 기존 BO나 LLM 기반 방법보다 높은 성능, 낮은 Regret, 그리고 향상된 해석 가능성을 달성한다. 이는 차세대 자동 아날로그 설계 툴에 중요한 설계 패러다임 전환을 제시한다.