LLM Evaluation

Overview

Hallucination(환각)은 답이 근거 자료에 없는 내용을 사실처럼 쓰는 현상이다. 요약에서는 원문과 다른 숫자·조번호나 원문에 없는 주장으로 드러난다. 이 탭은 요약을 문장으로 나누고, 문장마다 숫자·조번호·핵심어가 원문에 있는지 코드로 대조한다.

앞 탭의 ŷ는 모델의 답이다. 여기서 S는 원문, sⱼ는 요약의 j번째 문장, K(sⱼ)는 그 문장의 핵심어, τ는 핵심어 기준이다.

Concept

원문에 충실한가(faithfulness)와 세상 사실에 맞는가(factuality)는 다른 질문이다. 원문에 없는 내용이 우연히 사실일 수도 있다. 이 탭은 주어진 조문에 충실한지만 본다.

숫자: 값과 단위를 맞춰 비교한다(10미터 = 1,000센티미터). 이상·이하·이내가 붙어 있으면 원문과 같아야 한다. 조번호: 주어진 조와 그 조의 항·호, 원문이 인용한 조만 인정한다. 핵심어: 두 글자 이상 한글 어절에서 끝의 조사·어미를 목록으로 떼어 낸 줄기가 원문(공백 제거)에 그대로 있는지 본다. 사업주·설치·조치처럼 어디에나 나오는 말은 셈에서 뺀다.

판정: 숫자나 조번호가 하나라도 원문에 없거나 cⱼ<τ이면 ‘근거 없음’, 모두 있지만 핵심어가 일부 빠지면 ‘확인 필요’, 모두 있으면 ‘근거 있음’이다.

규칙 대조의 한계: 뜻은 맞지만 다른 말로 바꾼 문장은 근거 없음으로 잡힐 수 있고, 원문 단어만으로 뜻을 뒤집은 문장은 통과할 수 있다. 문장을 원자 사실로 나눠 검색과 모델로 확인하는 방법(FActScore 등)도 있지만, 이 탭은 모델 없이 규칙만 쓴다.

Summary

• 충실성은 주어진 원문 기준, 사실성은 세상 기준이다. 이 탭은 충실성만 잰다.
• 숫자·단위·이상/이하·조번호는 코드로 정확히 대조할 수 있다.
• 핵심어 대조는 말바꿈에 헛경보를 내고, 뜻 뒤집기는 놓친다.
• 규칙이 ‘근거 있음’이라고 해도 문장 사이 관계와 부정은 사람이 확인한다.

Notation

References

1. Maynez, Narayan, Bohnet & McDonald (2020). On Faithfulness and Factuality in Abstractive Summarization. ACL.
2. Ji et al. (2023). Survey of Hallucination in Natural Language Generation. ACM Computing Surveys.
3. Min et al. (2023). FActScore: Fine-grained Atomic Evaluation of Factual Precision in Long Form Text Generation. EMNLP.
4. 국가법령정보센터 · 산업안전보건기준에 관한 규칙 제13조·제14조 · 시행 2026-03-02 · 고용노동부령 제450호.

Overview

LLM-as-a-Judge(AI 채점자)는 모델에게 두 답을 비교하게 해 사람 평가를 대신하는 방법이다. 빠르고 많이 돌릴 수 있지만, 답을 보여 준 순서·답의 길이·자기 답 선호 같은 편향이 보고됐다. 이 탭은 같은 두 답을 순서만 바꿔 두 번 판정하게 하고, 판정이 유지되는지 센다.

앞 탭의 ŷ는 모델의 답이다. 여기서 A·B는 비교할 두 답, v는 자리 기준 판정(1·2·동점), w는 판정을 원래 이름 A·B로 되돌린 승자다.

Concept

A·B 순서에서는 답 1이 A, 답 2가 B다. B·A 순서에서는 답 1이 B다. 두 판정을 A·B 이름으로 되돌렸을 때 승자가 같으면 일관된 판정이다. 두 순서 모두 같은 자리를 고르면, 내용보다 자리를 고른 것으로 본다(position bias).

Zheng et al.(2023)은 순서를 바꿔 두 번 판정하고, 두 번 모두 같은 답이 이길 때만 승으로 세며 나머지는 동점으로 처리하는 방법을 썼다. Wang et al.(2024)은 판정 전에 근거를 먼저 쓰게 하고 두 순서의 결과를 합치는 보정을 제안했다. 참고 답을 함께 주는 방법(reference-guided)은 정답이 있는 질문에서 쓴다.

쌍 몇 개로 낸 비율은 흔들림이 크다. 쌍 10개에서 1개가 바뀌면 비율이 10%p 변한다. 이 수치를 그 모델의 일반적인 성질로 해석하지 않는다.

Summary

• 같은 두 답을 순서만 바꿔 두 번 판정받는다.
• 두 판정을 원래 이름으로 되돌려 승자가 같은지 본다.
• 두 순서 모두 같은 자리를 고르면 자리 편향이다.
• 순서가 바뀐 판정은 동점으로 처리하거나 결과를 합친다.
• 쌍이 적으면 비율의 흔들림이 크다.

Notation

References

1. Zheng et al. (2023). Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena. NeurIPS Datasets and Benchmarks.
2. Wang et al. (2024). Large Language Models are not Fair Evaluators. ACL.
3. Liu et al. (2023). G-Eval: NLG Evaluation using GPT-4 with Better Human Alignment. EMNLP.

Overview

Benchmark Contamination(평가 데이터 오염)은 평가 문항이나 정답이 학습 데이터에 이미 들어 있어 점수가 부풀려지는 문제다. 학습 데이터를 볼 수 있으면 문항과 학습 글 사이의 n-gram 겹침으로 의심 문항을 찾는다. 이 탭은 1탭의 10문항과 산업안전보건기준에 관한 규칙 본문 전체 사이의 겹침을 계산한다.

앞 탭의 ŷ·y는 답과 정답이다. 여기서 x는 평가 문항, D는 비교할 글 모음, n은 n-gram 길이, rₙ(x)는 겹친 n-gram 비율이다.

Concept

법령은 공개된 글이라 실제 학습 데이터에 들어 있을 가능성이 높다. 이 체험은 법령 본문(제1조~제674조, 부칙·별표 제외, 약 20만 자)을 학습 데이터 D로 가정한다.

GPT-3 보고서(Brown et al. 2020)는 13-gram이 하나라도 겹치면 오염 의심으로 표시했다. PaLM 보고서(Chowdhery et al. 2022)는 8-gram의 70% 이상이 학습 데이터에 있으면 오염으로 봤다. 둘 다 단어 단위다.

계산: 문항의 각 위치 i에서 D 안에 이어서 나타나는 가장 긴 길이 Lᵢ를 한 번 구한다. 그러면 모든 n에 대해 i에서 시작하는 n-gram이 겹치는지는 Lᵢ ≥ n으로 바로 알 수 있다. 그래서 슬라이더를 움직여도 다시 검색하지 않는다.

n이 작으면 흔한 표현까지 겹쳐 의심 문항이 늘고, n이 크면 조금만 바꾼 문항도 놓친다. 글자 단위는 조사 차이에 덜 민감하지만, 같은 n이라도 어절 단위보다 훨씬 짧은 글 조각을 본다. 겹침은 노출됐을 가능성의 증거일 뿐, 모델이 외웠다는 증거가 아니다. 반대로 겹침이 없어도 번역·말바꿈 형태로 섞였을 수 있다.

Summary

• 오염은 평가 문항이 학습 데이터에 들어 있어 점수가 부풀려지는 문제다.
• n-gram 겹침은 n과 토큰 단위, 판정 규칙에 따라 의심 문항 수가 크게 달라진다.
• 원문을 그대로 옮긴 빈칸형 문항이 가장 많이 겹친다.
• 겹침은 노출 가능성의 증거이고, 말바꿈한 오염은 잡지 못한다.

Notation

References

1. Brown et al. (2020). Language Models are Few-Shot Learners. NeurIPS. (Appendix C)
2. Chowdhery et al. (2022). PaLM: Scaling Language Modeling with Pathways. arXiv:2204.02311.
3. Sainz et al. (2023). NLP Evaluation in trouble: On the Need to Measure LLM Data Contamination for each Benchmark. Findings of EMNLP.
4. Jacovi, Caciularu, Goldman & Goldberg (2023). Stop Uploading Test Data in Plain Text. EMNLP.
5. 국가법령정보센터 · 산업안전보건기준에 관한 규칙 · 시행 2026-03-02 · 고용노동부령 제450호.