생성 모델의 '할루시네이션' 방지를 위한 조합론적 제약 조건 도입 연구

생성 모델의 할루시네이션 현상 분석 및 수학적 모델링의 필요성

• 생성 모델의 할루시네이션 현상이 발생하는 다양한 사례 제시 (예: 챗GPT의 역사 왜곡, 이미지 생성 시 비현실적 결과)
• 할루시네이션 발생의 근본 원인 분석 (데이터 편향, 모델의 확률적 특성 등)
• 수학적 원리(조합론) 적용의 이론적 근거 제시

조합론적 제약 조건을 포함한 수학적 모델 설계

• 탐구 변수 정의: 할루시네이션 발생 확률($P_H$), 사실 기반 생성 여부($F$), 조합론적 제약 조건($C$) 등 정의
• 가정 설정: (1) 출력 후보군 내에서 사실과 부합하는 선택지를 우선시한다. (2) '중복순열/중복조합'의 원리를 적용하여 허용 가능한 결과의 조합을 제한한다. (3) 제약 조건 만족도가 높을수록 할루시네이션 발생 확률은 낮아진다.
• 기본 수식 형태: $P(F|C) = f(C)$ 와 같이, 제약 조건 $C$가 주어졌을 때 사실 기반 결과($F$)가 생성될 확률을 나타내는 함수 형태를 제시

모델 검증 및 결과 분석

• 설계된 모델을 활용한 가상 데이터 생성 또는 실제 생성 모델의 출력 결과 분석
• 모델 적용 전후의 할루시네이션 발생 빈도 비교
• 조합론적 제약 조건 만족도와 할루시네이션 발생 간의 상관관계 분석

탐구 결과 요약 및 한계점

• 설계된 조합론적 제약 조건 모델이 할루시네이션 방지에 미치는 긍정적 효과 요약
• 모델의 주요 한계점: (1) 실제 복잡한 언어 생성 과정의 모든 변수를 모델링하기 어려움. (2) 조합론적 제약 조건의 지나친 적용이 생성 결과의 창의성이나 유연성을 저해할 가능성.
• 후속 탐구 계획: (1) 더 정교한 조합론적 원리(예: 그래프 이론) 도입 연구. (2) 다양한 생성 모델 아키텍처에 모델을 적용하는 방안 연구.