시각적 증거 기반 VLM 환각 현상 분석 및 완화 연구

Visual Evidence-Guided Understanding and Mitigation of Hallucinations in Vision-Language Models

본 연구의 최종 목표는 VLM에서 발생하는 환각을 시각적 근거(grounding) 기반으로 분석·완화하고, 경량화 환경과 의료 응용이라는 두 가지 실용적 맥락에서도 신뢰도를 유지하는 모델 설계 방법을 제안하는 것이다. VLM은 이미지에 존재하지 않는 객체나 속성을 생성하는 환각 문제를 내재하며, 이는 모델이 시각 정보보다 언어적 prior에 과도하게 의존하...