AI 요약 검증 프롬프트, 숫자 틀린 요약본으로 시험하는 22단계

AI 요약 검증 프롬프트는 AI가 만든 요약본을 원문과 대조해 점수를 매기고 틀린 곳을 짚어 내게 하는 평가용 지시문입니다. 이 글은 평가 기준 4개, 1~5점 척도, 가중치, JSON 출력을 담아 검증 프롬프트를 설계하는 법과, 일부러 숫자를 틀리게 바꾼 요약본으로 GPT·Claude·Gemini에서 시험하는 22단계를 정리했습니다. 바로 복사해 쓸 수 있는 평가 프롬프트 예시도 넣었습니다.

요약은 1분, 숫자 확인은 한참

AI에게 문서 요약을 시키면 1분도 안 걸립니다. 그런데 요약 속 숫자가 맞는지 원문과 하나씩 비교하려면 시간이 한참 듭니다. 논문처럼 내용이 방대하고 원문이 영어라면 더 그렇습니다.

흔한 사례가 이렇습니다. 논문 요약에는 "정확도가 25% 향상"이라고 돼 있는데, 원문을 찾아보니 26%였습니다. 1%포인트 차이라도 보고서에 그대로 들어가면 신뢰가 무너집니다. 그래서 요약본을 사실성, 포괄성, 간결성, 가독성 4개 기준으로 채점하는 "문서 요약 품질 평가 프롬프트"를 따로 만들어 두면 검토 시간을 줄일 수 있습니다.

준비물

• 평가할 문서의 원문(아래 예시는 영어 논문)
• 같은 문서를 AI가 요약한 결과물
• 프롬프트를 만들 대화창. 프롬프트 생성기(지시문을 대신 써 주는 프롬프트)가 있으면 그걸 써도 되고, 아래 예시 프롬프트를 바로 써도 됩니다.
• 시험용 AI 계정: GPT, Claude, Gemini

1부. 평가 프롬프트 요구사항 정하기

출발점은 요구사항을 구체적으로 적는 것입니다. 아래 요구사항을 프롬프트 생성기나 AI 대화창에 적어 평가 프롬프트를 만들어 달라고 요청합니다.

1단계. 프롬프트를 만들 대화창을 엽니다. ✅ 확인: 요구사항을 입력할 준비가 됐습니다.

2단계. 평가 기준 4개를 적습니다: 사실성, 포괄성, 간결성, 가독성. ✅ 확인: 4개 기준이 요구사항에 들어 있습니다.

3단계. 점수는 1점에서 5점 척도로 매기게 적습니다. ✅ 확인: 척도가 1~5점으로 적혀 있습니다.

4단계. 항목마다 점수 구간별 기준을 명확하게 적습니다. ✅ 확인: "5점은 어떤 상태, 3점은 어떤 상태"가 구체적으로 적혀 있습니다. 기준을 두루뭉술하게 적으면 AI도 점수를 두루뭉술하게 매깁니다.

5단계. 오류가 나오면 원문과 요약을 나란히 비교해 표시하게 적습니다. ✅ 확인: "원문은 이런데 요약은 이렇다"처럼 볼 수 있게 요구했습니다. 그냥 "이 부분이 잘못됐어요"라고만 하면 그 지적도 믿을 수 없기 때문입니다.

6단계. 가중치를 사실성, 포괄성, 간결성, 가독성 순으로 적습니다. ✅ 확인: 사실성에 가장 높은 비중이 있습니다. 숫자는 틀리면 안 되니 사실성이 1순위입니다. 포괄성은 원문의 중요한 내용이 대부분 들어 있는지를 보는 기준입니다. 비중은 문서 유형에 따라 다르게 정하면 됩니다.

7단계. 출력 형식을 JSON(정해진 이름표와 값으로 데이터를 적는 형식)으로 적습니다. ✅ 확인: 출력 형식이 JSON으로 요청돼 있습니다. JSON은 프로그램이 읽기 쉬운 구조라 자동화, 다른 시스템 연동, 점수 모아 보기에 일관성을 지키기 좋습니다. 사람이 읽고 피드백만 받을 거라면 일반 문장 형식도 괜찮습니다.

8단계. 요청을 보냅니다. ✅ 확인: 품질 평가 프롬프트가 완성됩니다.

바로 써 볼 수 있는 평가 프롬프트 예시

1부의 요구사항을 모두 담은 예시입니다. 가중치는 예시 값이니 문서 유형에 맞게 바꿔 쓰세요.

너는 문서 요약의 품질을 평가하는 검수자야.
아래 [원문]과 [요약본]을 비교해 4개 기준으로 평가해.

[평가 절차]
1. 원문에서 수치, 고유명사, 연구 결과, 결론 문장을 모두 뽑아 목록으로 만든다.
2. 요약본에서도 같은 항목을 뽑는다.
3. 두 목록을 하나씩 대조해 일치, 불일치, 요약본에만 있음, 원문에만 있음으로 표시한다.
4. 그 결과를 근거로 점수를 매긴다. 대조 전에 점수를 먼저 정하지 않는다.

[기준과 점수 구간]
사실성 (가중치 40%)
- 5점: 모든 수치와 사실이 원문과 일치
- 4점: 결론에 영향 없는 사소한 표현 차이 1건
- 3점: 수치 오류 1건
- 2점: 수치 오류 2건 이상 또는 원문에 없는 내용 1건
- 1점: 결론을 바꾸는 오류 또는 원문에 없는 내용 2건 이상
포괄성 (가중치 30%)
- 원문의 핵심 항목 가운데 요약본에 담긴 비율로 판단한다.
- 5점: 90% 이상, 4점: 75% 이상, 3점: 60% 이상, 2점: 40% 이상, 1점: 40% 미만
간결성 (가중치 15%)
- 5점: 중복 문장 없음, 핵심과 무관한 문장 없음
- 3점: 중복이나 무관한 문장 2~3개
- 1점: 절반 이상이 중복이거나 무관
가독성 (가중치 15%)
- 5점: 전문 용어를 처음 나올 때 풀어 쓰고, 문장 하나에 한 가지 내용
- 3점: 풀지 않은 전문 용어 3개 이상 또는 세 줄 넘는 문장 다수
- 1점: 구조 없이 나열돼 핵심을 찾기 어려움

[오류 표시]
- 오류마다 원문 문장과 요약본 문장을 나란히 적는다.
- 원문에서 해당 내용을 찾을 수 없으면 "원문에서 확인 불가"라고 적고 추측하지 않는다.

[출력 형식: JSON]
{
  "scores": {"사실성": 0, "포괄성": 0, "간결성": 0, "가독성": 0},
  "weighted_total": 0,
  "errors": [
    {"type": "수치 오류", "source": "원문 문장", "summary": "요약본 문장", "note": "차이 설명"}
  ],
  "missing_points": ["요약본에 빠진 원문 핵심"],
  "verdict": "사용 가능 / 수정 필요"
}

[원문]
(붙여 넣기)

[요약본]
(붙여 넣기)

2부. 시험용 요약본 준비하기

완성된 프롬프트를 바로 실무에 쓰면 안 됩니다. 틀린 걸 정말 잡아내는지 먼저 시험합니다.

9단계. 원문과 숫자가 모두 맞는 정상 요약본을 준비합니다. ✅ 확인: 원문과 숫자가 맞는 요약본이 있습니다.

10단계. 그 요약본을 복사해 수치를 일부러 몇 군데 틀리게 바꿉니다. ✅ 확인: 원문과 다른 수치가 몇 군데 들어 있습니다. 앞의 사례처럼 원문 26%를 25%로 바꾸는 식입니다. 어디를 바꿨는지는 따로 적어 둡니다. 그래야 평가 결과가 맞았는지 채점할 수 있습니다.

3부. GPT에서 시험하기

11단계. GPT 새 대화창에 평가 프롬프트를 붙여 넣습니다. ✅ 확인: 프롬프트가 입력창에 들어 있습니다.

12단계. [원문]과 [요약본] 자리에 원문과, 수치를 틀리게 바꾼 요약본을 넣습니다. ✅ 확인: 두 글이 각자 자리에 들어 있습니다. 원문이 길면 파일로 첨부하고 [원문] 자리에 "첨부 파일"이라고 적어도 됩니다.

13단계. 전송하고 결과를 기다립니다. ✅ 확인: GPT가 원문의 주요 수치와 명칭을 먼저 뽑고, 요약본에서도 똑같이 뽑아 비교한 뒤 불일치 항목을 짚고 점수를 냅니다.

14단계. 10단계에서 바꾼 숫자를 모두 찾았는지 대조합니다. ✅ 확인: 바꾼 숫자가 errors 목록에 모두 있습니다. 한 시험에서는 GPT가 숫자 오류를 정확하게 찾았고, 사실성과 포괄성에 만점을 주지 않았습니다. 포괄성 비율 0.875를 4점으로 매긴 것처럼 점수 구간을 정해 둔 대로 등급을 나눴습니다.

4부. Claude에서 시험하기

15단계. Claude 새 대화창에 같은 평가 프롬프트와 같은 요약본을 넣고 전송합니다. ✅ 확인: 결과가 나옵니다.

16단계. 숫자 오류를 찾았는지 확인합니다. ✅ 확인: 바꾼 숫자를 짚어 냈습니다. 같은 시험에서 Claude도 숫자 오류를 정확하게 찾았고, 사실성⁠·포괄성⁠·간결성 4점, 가독성 5점을 줬습니다. 같은 프롬프트라도 AI마다 점수가 조금씩 다르게 나올 수 있습니다. 한 AI에서 다듬은 프롬프트는 그 AI에 맞춰지기 쉬우니, 쓸 AI에서 직접 시험해 봐야 합니다.

5부. Gemini에서 시험하기

17단계. Gemini 새 대화창에 같은 평가 프롬프트와 같은 요약본을 넣고 전송합니다. ✅ 확인: 결과가 나옵니다.

18단계. 숫자 오류를 찾았는지 확인합니다. ✅ 확인: 잘못된 정보를 찾았는지 봅니다.

19단계. 감점 사유가 맞는지 원문과 직접 대조합니다. ✅ 확인: 감점 사유가 원문과 맞는지 봤습니다. 같은 시험에서 Gemini는 사실성에 낮은 점수를 주면서 "환각률 감소율처럼 원문에 없는 정보를 포함했다"는 사유를 댔습니다. 그런데 원문에는 환각률이 감소한다는 내용이 실제로 있었습니다. 평가하는 AI가 틀린 근거로 감점한 것입니다. 점수가 낮게 나온 항목일수록 사유를 원문에서 직접 확인해야 하는 이유입니다.

6부. 정상 요약본도 통과하는지 확인하기

틀린 걸 잡는 것만큼 맞는 걸 맞다고 하는 것도 중요합니다. 숫자가 정상인 요약이 사실성 5점을 받아야 일단 쓸 만한 프롬프트라고 볼 수 있습니다.

20단계. GPT 새 대화창에 평가 프롬프트와 9단계의 정상 요약본을 넣고 전송합니다. ✅ 확인: 결과가 나옵니다.

21단계. 점수를 확인합니다. ✅ 확인: 제대로 요약된 자료는 사실성 5점이 나옵니다. 앞의 시험에서는 정상 요약본이 모두 5점을 받았습니다.

22단계. 점수가 기대와 다르면 프롬프트를 고치고 다시 시험합니다. ✅ 확인: 틀린 요약본은 감점하고 정상 요약본은 통과시키는 결과가 반복해서 나옵니다.

마지막 점검

• 평가 프롬프트에 4개 기준, 1~5점 척도, 점수 구간 기준, 원문⁠·요약 나란히 비교, 가중치, JSON 출력이 들어 있다.
• 수치를 일부러 틀리게 바꾼 요약본에서 틀린 숫자가 모두 지적된다.
• 정상 요약본은 사실성 5점이 나온다.
• 감점 사유가 원문과 맞는지 최소 한 번은 직접 대조했다.

막혔을 때

• 점수가 두루뭉술하게 나올 때: 항목별 점수 구간 기준을 더 명확하게 적습니다. 위 예시처럼 "오류 1건이면 3점"처럼 셀 수 있는 기준이 좋습니다.
• 오류 지적이 막연할 때: 원문 문장과 요약본 문장을 나란히 보여 달라고 요구합니다.
• 한 AI가 잘못된 근거로 감점할 때: 감점 사유를 원문과 직접 대조하고, 다른 AI로 한 번 더 평가해 봅니다.
• 간결성과 가독성 점수가 들쭉날쭉할 때: 이 두 기준은 측정하기가 특히 모호합니다. 문장 길이, 풀지 않은 전문 용어 수처럼 셀 수 있는 기준으로 바꾸고, 1차⁠·2차 버전을 나눠 시험해 봅니다.

검증 프롬프트로 줄일 수 있는 것과 없는 것

검증 프롬프트를 쓰면 요약본의 숫자를 처음부터 하나씩 찾아보는 시간은 크게 줄어듭니다. 다만 프롬프트를 아무리 잘 만들어도 매번 100% 정확한 결과를 내지는 못합니다. 지금 AI의 구조적인 한계입니다. 실제로 위 시험에서도 Gemini는 감점 근거를 잘못 짚었습니다.

할 수 있는 일은 두 가지입니다. 시험을 여러 번 거쳐 오류를 줄이는 것, 그리고 AI는 틀릴 수 있다는 전제로 내 문서 유형에 맞게 계속 다듬는 것입니다. 남이 공유한 평가 프롬프트도 그대로 믿지 말고, 2부처럼 일부러 틀린 요약본으로 먼저 시험해 보는 것이 출발점입니다.