RF GPT 무선 신호 시각화와 이해를 위한 언어 모델

본 논문은 무선 통신 시스템의 물리계층 데이터를 직접 다룰 수 있는 ‘라디오‑주파수 언어 모델(RFLM)’을 구현하고, 이를 통해 RF 신호에 대한 고수준 자연어 질의·응답을 가능하게 하는 RF‑GPT 프레임워크를 제안한다. 기존 LLM·VLM은 텍스트·이미지·음성 등 인간이 직접 인지 가능한 형태에 특화돼 있으나, 복소수 IQ 파형이라는 고속 시계열 데이터는 직접 입력하기 어렵다. 저자들은 이 문제를 ‘시각화’라는 전략으로 해결한다. 복소수 IQ 시퀀스를 STFT로 변환해 시간‑주파수 스펙트로그램을 만든 뒤, 이를 일반 이미지와 동일하게 비전 인코더(ViT)로 처리한다. 이미지 패치를 토큰화하고, 각 토큰에 위치 임베딩을 더해 ‘RF 토큰’ 시퀀스를 만든다. 이 RF 토큰 시퀀스는 라인형 어댑터를 통해 LLM의 임베딩 차원에 맞게 선형 변환된 뒤, 디코더‑전용 대형 언어 모델에 프리픽스로 삽입된다. 이렇게 하면 LLM은 “RF‑prefix + 질문” 형태의 입력을 받아, RF‑grounded 텍스트를 생성한다. 생성 텍스트는 단순 라벨링을 넘어, 왜 그런 결과가 나왔는지 설명하거나, JSON 형태의 구조화된 데이터를 반환할 수 있다. 데이터 구축은 논문의 핵심 공헌 중 하나다. 실제 RF 측정 데이터는 라벨링 비용과 프라이버시 이슈가 크므로, 저자들은 6개 표준(5G NR, LTE, UMTS, WLAN, DVB‑S2, Bluetooth)을 충실히 구현한 파형 생성기를 이용해 12 000개의 광대역 장면을 합성했다. 각 장면은 정확한 메타데이터(변조, 대역폭, 전송 스케줄, 사용자 수 등)를 포함하고, 이를 기반으로 ‘기술 캡션’을 자동 생성한다. 이후 텍스트‑전용 LLM이 캡션을 다양한 질문‑답변 형태로 변환해, 설명형, 정량형(카운트·중첩), 구조형(JSON) 등 0.625 M개의 지시‑응답 쌍을 만든다. 이 과정은 인간 라벨링 없이도 대규모, 다변량, 고품질 데이터셋을 확보할 수 있게 한다. 학습은 두 단계로 진행된다. 첫 번째 단계는 사전학습된 비전 인코더를 그대로 사용해 스펙트로그램 이미지에 대한 일반적인 시각적 특징을 보존한다. 두 번째 단계에서는 전체 모델(RF 인코더 + 어댑터 + LLM)을 합성 지시 데이터에 대해 지도식 instruction‑fine‑tuning(SFT)한다. 이때 손실은 텍스트 생성 손실(LM loss)과, 필요 시 구조화된 출력(JSON)과의 일치 손실을 결합한다. 평가에서는 다섯 가지 베이스라인 과업을 설계했다. (1) 광대역 변조 분류: 여러 변조가 동시에 존재하는 스펙트로그램에서 각 변조를 식별한다. (2) 전파 중첩 분석: 두 개 이상의 전송이 시간‑주파수 영역에서 겹치는 정도와 위치를 판단한다. (3) 무선 기술 식별: 스펙트로그램에 포함된 기술(5G, LTE 등)을 구분한다. (4) WLAN 사용자 수 추정: AP와 클라이언트 수를 추정한다. (5) 5G NR 파라미터 추출: SSB, PDCCH 등 구체적인 물리 채널 정보를 추출한다. 각 과업에 대해 정확도·F1·IoU·JSON 일치율 등을 측정했으며, RF‑GPT는 모든 과업에서 일반 VLM(예: LLaVA, InternVL)보다 현저히 높은 성능을 보였다. 특히 중첩 분석과 5G NR 파라미터 추출에서는 20 % 이상 정확도 향상이 관찰되었다. 논문의 주요 기여는 다음과 같다. 첫째, RF 토큰을 통한 RFLM 개념을 정의하고, 비전 인코더와 LLM을 결합한 실용적인 구현체를 제시했다. 둘째, 표준‑준수 파형 생성기와 자동 캡션·지시 생성 파이프라인을 통해 대규모 합성 RF‑텍스트 데이터셋을 구축했다. 셋째, 다양한 무선 과업을 하나의 모델로 처리할 수 있는 멀티태스크 능력을 입증했다. 넷째, 모델이 제공하는 설명·구조화된 출력이 실제 네트워크 운영·관리 시나리오에 적용 가능함을 시연했다. 한계점으로는 합성 데이터에 대한 의존성, 실제 현장 채널·하드웨어 비정상성에 대한 일반화 부족, 스펙트로그램 해상도·패치 크기에 따른 메모리·연산 비용 증가, 현재는 디코더‑전용 LLM만 사용해 양방향 대화·툴 호출이 제한적이라는 점을 들 수 있다. 향후 실제 RF 캡처 데이터와 도메인‑특화 어텐션, 효율적인 토큰 압축, 멀티모달 인터페이스 확장을 통해 무선 네트워크의 AI‑네이티브 운영을 실현할 수 있을 것으로 기대한다.