시각‑언어 모델을 활용한 시각장애인 내비게이션 지원 연구

본 논문은 시각장애인·저시력인(pBLV)의 실시간 이동 보조를 목표로 최신 비전‑언어 모델(VLM)의 기본 시각 능력과 통합 내비게이션 성능을 체계적으로 평가한다. 서론에서는 WHO 통계에 기반한 시각 장애 인구 규모와 기존 모바일·웨어러블 보조 기술의 한계를 제시하고, VLM이 제공하는 이미지‑텍스트 통합 이해가 이러한 한계를 극복할 잠재력을 가짐을 강조한다. 관련 연구에서는 CLIP, LLaVA, GPT‑4V 등 선행 VLM과, MMMU·다양한 내비게이션 데이터셋을 활용한 평가가 대부분 일반 비전·언어 과제에 초점을 맞추었으며, pBLV 특화 시나리오에 대한 실증적 검증이 부족함을 지적한다. 연구 목표는 (1) VLM이 물체 개수 파악, 상대적 공간 관계 추론, 상식적 장면 이해라는 세 가지 핵심 능력을 얼마나 정확히 수행하는가, (2) 동일 장면에 대한 반복 질의 시 일관성을 유지하는가, (3) 이러한 기본 능력이 실제 내비게이션 과제(목적지 식별, 경로 제시, 장애물 경고)에서 어떻게 전이되는가를 규명하는 것이다. 방법론에서는 전용 데이터셋을 구축하였다. 고정된 카메라 위치에서 실내·실외 장면을 촬영하고, 의자·벤치·소파 등 장애물 객체의 수, 배치, 색상, 배경 디테일을 정밀하게 변형해 총 150장의 이미지와 8개의 물체 개수·공간 추론·5개의 상식 판단 시나리오를 만든다. 각 이미지‑프롬프트 조합을 100번씩 질의하여 총 3,400회의 응답을 수집함으로써 모델의 변동성을 정량화한다. 평가 대상은 닫힌형 최신 모델(GPT‑4V, GPT‑4o, Gemini‑1.5‑Pro, Claude‑3.5‑Sonnet)과 오픈소스 모델(Llava‑v1.6‑mistral‑7B, Llava‑onevision‑qwen2‑7B)이다. 기본 능력 평가 결과는 다음과 같다. 물체 개수 파악에서는 GPT‑4o가 94% 이상의 정확도를 보였으며, 다른 닫힌형 모델도 80% 이상을 기록했다. 반면 오픈소스 모델은 55% 이하로, 복잡한 배경이나 부분 가림 시 오류가 급증했다. 상대적 공간 추론에서는 색상·질감 차이에 민감한 모델이 존재했으며, Gemini‑1.5‑Pro는 색상 편향으로 인해 “가까운 의자”를 잘못 판단하는 경우가 18%에 달했다. GPT‑4o는 92% 정확도로 가장 안정적이었지만, 여전히 8%의 오류는 ‘시점 변동에 대한 깊이 추정 부정확성’으로 귀결되었다. 상식적 장면 이해(빈 좌석 판단)에서는 인간이 제공한 정의와 힌트를 명시적으로 포함했음에도 불구하고, Claude‑3.5‑Sonnet이 81%의 정확도를 보인 반면, 오픈소스 모델은 48% 이하에 머물렀다. 이는 현재 오픈소스 VLM이 ‘컨텍스트 기반 상식 추론’에 한계가 있음을 보여준다. 통합 내비게이션 과제는 목적지 식별, 최적 경로 제시, 장애물 경고 세 가지 메트릭을 인간 평가자가 독립적으로 채점한 방식으로 진행되었다. GPT‑4o는 전체 평균 85% 점수를 얻었으며, 특히 장애물 경고에서 90% 이상의 정확도를 기록했다. 반면 오픈소스 모델은 평균 42%에 불과했으며, 특히 경로 제시 단계에서 “우회 경로”를 제시하지 못하거나 위험 구역을 누락하는 오류가 빈번했다. 논의에서는 (1) 모델 간 성능 격차의 원인으로 대규모 사전 학습 데이터와 멀티모달 정렬 기술 차이를 꼽는다. (2) 반복 질의 실험이 보여준 ‘일관성 문제’는 실제 보조 기기에서 신뢰성 저하로 이어질 위험을 강조한다. (3) 오픈소스 모델은 파인튜닝이나 LoRA 적용 없이 기본 상태만 평가했기 때문에, 향후 경량화·특화 모델이 보일 수 있는 개선 여지를 과소평가했을 가능성을 지적한다. 제한점으로는 (a) 정적 이미지에 국한된 실험 설계, (b) 프롬프트가 비교적 단순하고 사전 정의된 힌트에 의존, (c) 실제 착용형 전자 여행 보조기(ETAs)의 동적 영상·센서와의 연계가 부족함을 들었다. 결론에서는 현재 상용 VLM, 특히 GPT‑4o가 pBLV 내비게이션 보조에 가장 현실적인 솔루션임을 확인하면서도, 오픈소스 생태계에서도 적절한 파인튜닝·멀티모달 확장이 이루어지면 경쟁력 있는 대안이 될 수 있음을 제시한다. 향후 연구는 (1) 실시간 비디오·라이다·초음파 등 멀티모달 데이터와 결합한 VLM 개발, (2) 인간‑AI 협업 인터페이스와 강화학습 기반 정렬, (3) 공간 추론 전용 모듈과 상식 지식 그래프를 통합한 오픈소스 모델 개선을 권고한다.