가정 활동 모니터링을 위한 세그먼트‑레벨 주의 메커니즘 기반 게이트형 CNN

** 본 논문은 가정 내 일상 활동을 음향 신호만으로 자동 인식하는 과제를 다루며, DCASE 2018 Challenge Task 5에 제공된 다채널 오디오 데이터셋을 실험 기반으로 삼았다. 데이터셋은 10 초 길이의 오디오 클립 9가지 클래스로 구성되며, 각 클립은 4개의 마이크 배열을 통해 수집된 4채널 신호를 포함한다. 저자는 먼저 전처리 단계에서 로그 멜 필터 뱅크(fbank)를 추출한다. 구체적으로 40 ms 프레임, 50 % 오버랩, 40개의 멜 필터를 적용하고 로그 변환을 수행한다. 이렇게 얻은 fbank는 시간‑주파수 2차원 형태이며, 네 채널을 각각 독립적으로 네트워크에 입력한다. 네트워크 구조는 크게 두 부분으로 나뉜다. 첫 번째는 Gated Convolutional Neural Network(GCNN)이며, 두 번째는 Segment‑Level Attention Mechanism(SAM)이다. GCNN은 기존 CNN에 게이트 연산과 잔차 연결을 추가한다. 컨볼루션 레이어의 출력은 두 개의 동일 크기 텐서 A와 B로 분할되며, A는 시그모이드 활성화, B는 선형 변환을 거친 뒤 A와 원소‑곱을 수행한다. 이 결과에 입력 텐서를 잔차로 더해 최종 출력 H를 만든다. 이러한 구조는 시간 축에서의 비선형 변조를 가능하게 하여, 특히 다채널 오디오에서 각 채널이 제공하는 미세한 시간 변화를 효과적으로 포착한다. GCNN 뒤에는 배치 정규화, ReLU, 드롭아웃, 맥스 풀링이 순차적으로 적용되며, 최종적으로 두 개의 완전 연결층을 거쳐 각 세그먼트당 9개의 클래스 점수를 산출한다. 두 번째 구성 요소인 SAM은 프레임 단위가 아닌 1 초 길이 세그먼트를 단위로 주의 가중치를 학습한다. 입력 fbank는 시간 축으로 정규화(time‑normalization)된 뒤, 완전 연결층을 통해 프레임‑레벨 특징을 추출한다. 이후 주파수 축을 합산하고, 평균 풀링·맥스 풀링을 차례로 적용해 세그먼트 수준의 에너지 정보를 압축한다. 마지막 시그모이드 활성화는 각 세그먼트에 0~1 사이의 가중치를 부여한다. 이렇게 얻은 가중치 벡터 W와 GCNN이 출력한 세그먼트별 클래스 점수 행렬 X를 원소‑곱한 뒤, 세그먼트 차원에서 평균을 취해 최종 클래스 확률 벡터 Y를 만든다. 모델 학습은 Adam 옵티마이저(learning rate = 0.001)와 교차 엔트로피 손실을 사용했으며, 배치 크기는 256 × 4(채널당)로 설정했다. 전체 학습은 300 epoch 동안 진행하고, 검증 데이터(전체 테스트 데이터의 5 %)에서 최고 정확도를 보인 모델을 최종 평가에 사용한다. 평가 지표는 DCASE 2018 Task 5와 동일하게 macro‑averaged F1-score이다. 성능 평가에서는 다섯 가지 구성(기본 CNN, SAM‑CNN, GCNN, SAM‑GCNN, SAM‑GCNN + Ensemble)을 비교했다. 기본 CNN의 평균 macro‑F1는 83.76 %였으며, GCNN만 사용했을 때 86.25 %로 2.49 %p 상승했다. SAM을 적용하면 두 모델 모두 성능이 향상돼, SAM‑GCNN은 88.08 %를 기록했다. 마지막으로, 부재, 기타, 작업 클래스에 특화된 3‑클래스 모델을 추가하는 앙상블 전략을 적용하면 전체 평균이 89.33 %에 도달했다. 이는 공식 베이스라인(84.5 %)보다 4.8 %p, 상위 2팀(90.0 %·89.8 %)에 근접한 수준이다. 클래스별 분석에서는 ‘진공청소’, ‘TV 시청’, ‘소셜 활동’ 등 명확한 음향 특성을 가진 클래스가 99 % 이상 높은 정확도를 보였으며, ‘기타’와 같은 저빈도·고혼동 클래스는 SAM 및 앙상블 적용 후에도 여전히 낮은 정확도(≈57 %)를 보였지만, 베이스라인 대비 크게 개선되었다. 혼동 행렬 분석 결과, 앙상블 적용 전후로 ‘부재’, ‘기타’, ‘작업’ 클래스의 오분류가 현저히 감소한 것을 확인할 수 있다. 결론적으로, 본 연구는 (1) 세그먼트‑레벨 주의 메커니즘을 통해 장시간 지속되는 활동 신호를 효과적으로 강조, (2) 게이트형 CNN을 통해 시간‑주파수 상관성을 강화, (3) 클래스‑특화 앙상블을 통해 불균형·혼동 문제를 보완한다는 세 가지 핵심 기여를 제시한다. 데이터 증강 없이도 높은 성능을 달성했으며, 실시간 스마트 홈 모니터링, 보안 감시, 생활 패턴 분석 등 다양한 응용 분야에 적용 가능성이 높다. **