다채널 음향을 활용한 가정 활동 모니터링: DCASE 2018 Task 5 소개

본 논문은 2018년 DCASE 챌린지의 다섯 번째 과제인 Task 5, “다채널 음향을 이용한 가정 활동 모니터링”을 상세히 소개한다. 연구 배경으로는 스마트 홈에서 사용자의 안전·편의성을 높이기 위해 음향 센서를 통한 상황 인식이 중요하다는 점을 들며, 기존 연구들은 주로 단일 채널 스펙트럼 정보에 의존해 왔지만, 공간적 단서를 활용하면 보다 정확한 활동 구분이 가능하다고 주장한다. 데이터는 SINS(Sound INterfacing through the Swarm) 데이터베이스에서 파생되었다. SINS는 13개의 마이크 배열이 설치된 주택에서 일주일간 연속 녹음된 데이터이며, 본 과제에서는 거실·주방 영역에 배치된 7개의 배열 중 4개의 배열을 선택해 사용하였다. 각 배열은 4개의 선형 마이크로 구성되어 있어, 4채널 오디오가 동시에 기록된다. 연속 녹음은 10 초 길이의 세그먼트로 나누어졌으며, 하나의 세그먼트에 두 개 이상의 활동이 겹치지 않도록 필터링하였다. 최종적으로 9개의 활동 라벨(Absence, Cooking, Dishwashing, Eating, Other, Social Activity, Vacuum cleaning, Watching TV, Working)과 각각의 세그먼트 수가 표 2에 제시된다. 개발 데이터는 전체의 2/3, 평가 데이터는 1/3을 차지하며, 평가 데이터는 개발 데이터와 다른 마이크 배열을 사용해 위치 의존성을 최소화한다. 데이터는 클래스 불균형을 보이며, 특히 ‘Other’와 ‘Dishwashing’ 클래스의 샘플 수가 적어 성능 저하 요인으로 작용한다. 베이스라인 시스템은 파이썬 기반으로 DCASE UTIL 라이브러리와 Keras를 활용해 구현되었다. 입력 특성은 40 멜 밴드, 40 ms 프레임, 50 % 오버랩으로 추출한 로그 멜 스펙트로그램이며, 10 초(501프레임) 구간을 40 × 501 형태의 2D 텐서로 만든다. 모델은 1D‑컨볼루션 레이어 두 개와 완전 연결 레이어 하나로 구성된다. 첫 번째 컨볼루션은 32개의 필터와 5프레임 커널을 사용해 시간 축에만 합성곱을 수행하고, 5배 Max‑Pooling으로 다운샘플링한다. 두 번째 컨볼루션은 64개의 필터와 3프레임 커널, 3배 Max‑Pooling을 적용한다. 각 레이어 뒤에 배치 정규화와 ReLU 활성화가 들어가며, 드롭아웃(20%)으로 과적합을 방지한다. 마지막 Fully‑Connected 레이어(64 뉴런)와 Softmax 출력(9 클래스)으로 구성된다. 학습은 Adam 옵티마이저(learning rate = 1e‑4), 배치 크기 256(각 세그먼트당 4채널)으로 진행하고, 클래스별 샘플 수를 최소 클래스에 맞춰 오버샘플링한다. 검증은 훈련 데이터의 30%를 무작위 서브샘플링해 10에폭마다 수행하며, 최고 매크로 F1 점수를 기록한 모델을 최종 모델로 선택한다. 평가 결과는 표 3에 제시된다. 전체 매크로 F1 점수는 84.5%이며, 클래스별 성능은 44.76%(Other)에서 99.59%(Watching TV)까지 다양하다. 가장 낮은 성능을 보인 ‘Other’와 ‘Dishwashing’은 음향적 특징이 다른 클래스와 겹치거나 샘플 수가 적어 구분이 어려웠다. 반면 ‘Vacuum cleaning’, ‘Watching TV’, ‘Cooking’은 뚜렷한 스펙트럼·시간 패턴을 가지고 있어 높은 정확도를 달성했다. 베이스라인은 각 마이크 채널을 독립적인 샘플로 처리하고, 예측 단계에서는 4채널의 posterior를 평균해 최종 라벨을 결정한다. 이는 마이크 배열 위치에 의존하지 않는 설계를 목표로 하며, 다채널 정보를 활용하되 복잡한 공간 모델링을 요구하지 않는다. 논문은 향후 연구 방향으로, 채널 간 상관관계를 직접 학습하는 2D‑컨볼루션, GCC‑PHAT와 같은 교차 상관 기반 특성, 혹은 방향성 추정 모듈을 도입해 공간 정보를 보다 정교하게 활용할 것을 제안한다. 또한, 데이터 불균형 문제를 해결하기 위한 샘플링 기법이나 데이터 증강 방법도 중요한 연구 과제로 언급한다. 공개된 데이터와 베이스라인 코드는 다양한 딥러닝 아키텍처와 음향 신호 처리 기법을 비교·검증하는 데 유용한 기반을 제공한다. 최종적으로, 이 과제는 스마트 홈에서 실시간 활동 모니터링 시스템을 구현하기 위한 핵심 기술적 과제들을 제시하고, 다채널 음향 정보를 활용한 새로운 연구를 촉진한다.