지속적 구조 기억을 위한 좌표계 안정성의 두 가지 필수 조건

본 연구는 신경망이 구조적 지식을 장기적으로 저장하고, 서로 다른 작업 간에 이를 재활용할 수 있는 메커니즘을 탐구한다. 기존 트랜스포머와 같은 모델은 매 순전파마다 어텐션 패턴을 새로 계산하기 때문에, 동일한 구조적 의존성을 가진 새로운 작업에 대해 처음부터 학습해야 한다. 이를 극복하고자 저자들은 **Dual‑View Pheromone Pathway Network(DPPN)** 라는 새로운 아키텍처를 설계하였다. DPPN은 (1) 토큰을 임베딩하고, (2) 두 개의 독립적인 소프트 그룹핑 뷰를 통해 토큰을 잠재 슬롯에 할당하며, (3) 슬롯‑간 상호작용을 기반으로 합의 신호 A를 만든다. 핵심은 **페로몬 필드 τ**를 도입해 슬롯 전이 확률을 조정한다는 점이다. τ는 EMA 방식으로 업데이트되는 비‑그라디언트 통계이며, 모델 파라미터가 초기화되더라도 지속된다. 따라서 τ는 “어떤 슬롯 전이가 유용했는가”라는 메타 정보를 장기적으로 보존한다. 논문은 다섯 단계의 실험을 통해 DPPN이 직면한 주요 장애물을 차례로 제거한다. 첫 번째 실험에서는 페로몬 포화 현상이 나타나, 초기 학습 단계에서 페로몬이 과도하게 축적되어 라우팅이 편향되는 문제를 확인한다. 두 번째 실험에서는 **표면‑구조 얽힘**을 발견한다. 즉, 슬롯을 정의하는 학습된 프로젝션 행렬이 입력 토큰의 표면적 특성과 얽혀, 구조적 패턴이 토큰 표면에 따라 달라지는 현상이 있었다. 세 번째 실험에서는 **좌표계 불일치**를 규명한다. 서로 다른 모델이 동일한 구조적 패턴을 학습하더라도, 각 모델이 학습한 슬롯 좌표계가 서로 다르기 때문에 페로몬 필드가 서로 다른 좌표에 기록된다. 이는 두 모델 간 페로몬 상관관계가 3.5%에 불과하고, 우연 수준인 3.1%와 차이가 없다는 실험 결과로 뒷받침된다. 이러한 좌표계 문제를 해결하기 위해 저자들은 **고정 랜덤 푸리에 특징(Random Fourier Features, RFF)** 을 도입한다. Johnson‑Lindenstrauss 보조정리와 Bochner 정리를 이용해 입력 위치를 고정된 선형 변환으로 매핑함으로써, 좌표계는 사전에 정의되고 구조와 무관하게 거리 보존 특성을 갖는다. RFF는 **외재적 좌표**를 제공하여, 학습 과정에서 좌표가 변동하지 않는다. 그러나 10개의 시드에 걸친 실험에서 RFF만을 사용한 경우 라우팅 바이어스 페로몬이 전이되지 않아, 좌표계 안정성은 **필수**이지만 **충분**하지 않다는 결론에 도달한다. 다음 단계에서는 라우팅 바이어스를 **학습률 메타 프라이어**로 전환한다. 페로몬 값을 학습률 가중치로 해석함으로써, 잘못된 바이어스가 직접적인 파라미터 업데이트에 부정적 영향을 주지 않게 된다. 실험 결과, 이 메타 프라이어는 모든 시드에서 부정적 전이를 완전히 제거했으며, 동일 계열 작업에서 평균 +0.003의 성능 향상을 보였다. 마지막으로, **구조 완성 함수**를 고정 좌표 위에 학습시켜 페로몬이 암시하는 구조적 힌트를 보강한다. 이 함수는 좌표 간 거리 정보를 활용해 누락된 슬롯 전이를 예측하고, 기존 정규화 베이스라인 대비 +0.006의 AULC 향상을 달성한다. 이는 “좌표계 안정성 vs. 정보성”이라는 딜레마가 완전히 불가능한 것이 아니라, 적절한 함수적 보완을 통해 부분적으로 해소될 수 있음을 시사한다. 논문은 세 가지 주요 기여를 제시한다. 첫째, **DPPN**이라는 새로운 아키텍처를 제안하여 영구적인 페로몬 필드를 통해 구조적 기억을 축적한다. 둘째, 다섯 단계의 **진단적 실험 연쇄**를 통해 페로몬 포화, 표면‑구조 얽힘, 좌표계 불일치, 임베딩 불안정 등 네 가지 장애물을 체계적으로 규명한다. 셋째, **좌표계 고정**과 **전이 시 손상을 완화하는 메커니즘**이라는 두 독립적인 요구조건을 제시하고, 각각을 실험적으로 검증한다. 특히, 고정 랜덤 푸리에 특징이 좌표계 안정성을 제공하지만, 라우팅 바이어스만으로는 전이가 이루어지지 않으며, 학습률 메타 프라이어와 구조 완성 함수가 이를 보완한다는 점을 강조한다. 이 연구는 메모리‑증강, 지속적 상태, 전이 학습, 랜덤 특징 이론 등 네 개의 기존 연구 흐름을 통합한다. 특히, **좌표계 자체가 전이의 병목**이라는 새로운 관점을 제시함으로써, 기존 전이 학습 방법이 공유된 표현 공간을 가정하지만 좌표계 변동을 무시해온 한계를 지적한다. 또한, 생물학적 격자세포와 같은 선천적 좌표계가 구조 기억에 필수적이라는 가설을 이론적으로 뒷받침한다. 최종적으로, 논문은 “구조 기억을 지속적으로 유지하려면 좌표계가 사전에 고정돼야 하며, 전이 시에는 그 좌표계 위에서 손상을 최소화하는 메커니즘이 필요하다”는 두 가지 원칙을 제시한다.