시각 프롬프트 자동 탐색을 위한 의미 기반 탐험(SEVEX)

**1. 연구 배경 및 문제 정의** 대형 비전‑언어 모델(LVLM)은 텍스트‑이미지 멀티모달 추론에서 뛰어난 성능을 보이지만, 미세 속성 식별이나 복잡한 공간 관계와 같은 기본적인 시각 인식에 약점을 가진다. 이러한 ‘perception failure’는 모델이 잘못된 시각 정보를 기반으로 추론을 전개하게 만들어, hallucination이나 오류 답변을 초래한다. 기존 연구는 시각 프롬프트(이미지에 직접적인 변형을 가하는 코드)를 이용해 모델의 주의를 중요한 영역으로 유도하는 방법을 제시했으며, 주로 **툴 사용**(segmentation, depth estimation 등)이나 **시각 스캐폴딩**(경계선, 색상 강조) 형태로 구현되었다. 그러나 이러한 방법은 (i) 인간이 직접 아이디어를 고안하고 코드를 작성해야 하는 높은 인적 비용, (ii) 툴 선택에만 초점을 맞추어 근본적인 인식 오류를 진단·완화하지 못한다는 점에서 한계가 있다. **2. SEVEX 프레임워크 설계** 본 논문은 이러한 한계를 극복하기 위해 **Semantic Visual Prompt EXploration (SEVEX)** 라는 자동 탐색 프레임워크를 제안한다. 핵심 아이디어는 **고수준 아이디어 공간**을 정의하고, 이를 기반으로 **구현(P)**과 **텍스트 프롬프트**를 자동 매핑하는 것이다. 탐색은 동적으로 성장하는 트리 T 위에서 진행되며, 각 노드 N은 다음 네 요소를 포함한다. - **Abstract Idea (I)**: 자연어 형태의 시각 변형 개념. - **Implementation (P)**: 사전 정의된 이미지 툴(색칠, 마스킹, 필터 등)과 파이썬 코드로 구현된 구체적 변형. - **Self‑Evaluation Scores (S)**: s_gain(예상 성능 향상)과 s_novel(형제 대비 새로움) 두 점수. - **Experiment History (H)**: 실제 실행 결과(정확도, 추론 시간, 정성적 관찰)와 하위 노드에서 전파된 인사이트. **3. Novelty‑guided UCT (NUCT) 선택 메커니즘** 전통적인 UCT는 평균 보상과 방문 횟수를 이용해 탐색·활용을 균형 잡지만, 무한히 생성 가능한 아이디어와 중복성을 고려하지 못한다. NUCT는 다음과 같이 변형한다. - 실행된 노드에 대해서는 **R_max_i - R_p_i**(부모 대비 최대 보상 차)와 **λ·expl·ln(n_p_i / n_i)**(탐색 보너스)를 합산한다. - 실행되지 않은 노드에 대해서는 **s_novel**(형제와 비교한 새로움)과 **형제 실행 수**를 이용해 포화도를 측정, 포화된 부모는 새로움 점수가 낮아 선택 확률이 감소한다. 이렇게 하면 높은 기대 이득을 가진 동시에 충분히 새로운 아이디어가 우선 탐색된다. **4. 의미 피드백 기반 아이디어 진화** 노드가 실행되면 결과가 **Semantic Backpropagation** 과정을 거쳐 부모와 형제에게 전달된다. 구체적으로, LLM은 “라인을 색칠했을 때 정확도가 5% 상승했으며, 배경 잡음이 감소했다”는 식의 자연어 요약을 생성한다. 이 요약은 다음 라운드 아이디어 생성 시 **프롬프트**로 활용되어, “색칠 강도를 조절한다”, “배경을 흐리게 만든다”와 같은 파생 아이디어를 유도한다. **5. 실험 설정 및 결과** - **벤치마크**: BlindTest(시각 인식 오류 집중)와 BLINK(속성·관계 추론) 두 데이터셋. - **비교 대상**: 기존 툴‑기반 프롬프트(Viser, BBVPE 등), Zero‑shot 자동 생성, 인간 수작업 프롬프트. - **평가 지표**: Task Accuracy, Inference Cost(추가 연산량), Exploration Efficiency(탐색 라운드 수), Exploration Stability(다중 시드 평균 변동). - **핵심 결과**: SEVEX는 Accuracy에서 평균 9.3%p 상승, Inference Cost을 27% 절감, 탐색 라운드 수를 40% 감소시켰으며, 5개 랜덤 시드에 대해 표준편차가 0.8% 이하로 가장 안정적인 성능을 보였다. - **발견된 프롬프트 예시**: “라인을 투명한 색으로 채워 면적을 강조 후, 경계선만 남긴다”, “이미지 전체를 저조도로 변환하고, 관심 영역만 고대비로 복원한다”. 이러한 전략은 기존 툴 사용만으로는 구현하기 어려운 복합 변형이며, LVLM이 특정 시각 패턴에 더 민감하게 반응하도록 만든다. **6. 논의 및 한계** SEVEX는 아이디어‑코드 분리를 통해 LLM의 컨텍스트 부담을 크게 줄이고, 새로움‑가이드 탐색으로 효율성을 확보했다. 그러나 (i) 현재 사용되는 이미지 툴셋이 고정돼 있어 완전한 코드 발명 능력은 제한적이며, (ii) 모델‑별 탐색을 독립적으로 수행하므로 메타‑학습을 통한 지식 전이가 부족하다. 향후 연구에서는 (a) 툴셋을 자동 확장하거나 플러그인 형태로 동적 로딩, (b) 여러 모델에 대한 탐색 경험을 메타‑러닝으로 축적해 전이 가능한 프롬프트 생성기를 구축하는 방향을 제시한다. **7. 결론** 본 논문은 LVLM의 인식 오류를 완화하기 위한 **자동 시각 프롬프트 탐색**이라는 새로운 패러다임을 제시한다. 고수준 아이디어 공간, Novelty‑guided UCT, 의미 피드백 기반 아이디어 진화라는 세 축을 결합한 SEVEX는 인간의 수작업 없이도 작업별 최적 프롬프트를 효율적으로 발견한다. 실험 결과는 기존 방법 대비 전반적인 성능·효율·안정성에서 우수함을 입증하며, 향후 멀티모달 모델의 신뢰성을 높이는 핵심 기술로 자리매김할 가능성을 보여준다.