합성 AI 응답 세 개를 Excel에서 검토하기: 원문·수정본·감점 근거 분리

응답 세 개의 총점이 모두 5점이어도 문제는 서로 다를 수 있습니다. 한 응답은 JSON 따옴표가 빠졌고, 다른 응답은 요청의 일부를 누락했으며, 나머지는 키 이름이 다릅니다. 이 글은 합성 응답 A·B·C의 원문을 보존하고 수정본과 감점 이유를 나란히 기록하는 실습입니다. 실존 AI 모델의 순위를 정하거나 성능 향상을 측정하는 자료는 아닙니다.

요청 한 건과 보존할 원문 정하기

가상 입력은 T-101 | 배송 지연 | 송장 조회 후 예상 도착일 안내입니다. 출력 계약은 ticket_id, category, reason, next_action 네 키를 가진 JSON 객체 한 개로 정했습니다. 입력에 없는 날짜·보상·고객 정보를 추가하지 않습니다. 세 응답은 작성자가 만든 합성 문자열이며, 실제 모델에 요청해 받은 결과가 아닙니다.

첨부의 요청 시트에는 같은 조건, 원문에는 수정 전 문자열, 수정본에는 사람의 편집 결과, 채점에는 점수와 차이가 있습니다. 원문 B2:B4를 수정본으로 덮어쓰지 않습니다. 실제 고객 자료나 인증정보는 이 연습에 필요 없습니다.

응답 A는 마지막 문자열의 닫는 따옴표가 빠졌습니다. 다음은 원문 그대로이며 정상 JSON으로 고쳐 인용한 것이 아닙니다.

{"ticket_id":"T-101","category":"배송 지연","reason":"배송 지연","next_action":"송장 조회 후 예상 도착일 안내}

응답 B는 같은 네 키를 쓰지만 next_action 값이 송장 조회에서 끝납니다. 응답 C는 전체 행동을 남겼지만 next_action 대신 action 키를 사용합니다. 다운로드의 원문 시트와 responses.json에는 세 문자열을 모두 그대로 보관했습니다. 본문에서 짧게 설명한 필드 차이만 보고 원문이 같다고 판단하지 않습니다.

점수와 편집 건수를 섞지 않기

이 예제의 점수는 세 기준을 각각 0~2점으로 기록합니다. 기준은 사람이 원문을 읽어 적용하며 Excel 수식이 자연어의 의미를 판정하지 않습니다.

키 점수와 문법 점수는 다른 관찰입니다. A는 키 이름 네 개가 문자열에 있으므로 키 점수2, 닫는 따옴표가 빠졌으므로 형식 점수1입니다. 문법이 깨졌다는 이유로 사람이 읽을 수 있는 모든 항목을 동시에0으로 만들지 않습니다. 실제 운영 평가를 설계한다면 이 중복·독립 관계부터 별도로 합의해야 합니다.

편집 건수는 총점에서 다시 빼지 않습니다. 이미 형식이나 근거 항목에서 감점한 문제를 수정 횟수로 한 번 더 감점하지 않기 위한 이 실습의 규칙입니다. 편집 한 건은 기록한 하나의 교정 작업이며 키 입력 횟수나 실제 소요 시간이 아닙니다.

원문 점수 5·5·5와 감점 근거 입력하기

채점!B2:D4는 다음 숫자입니다. J열은 점수의 근거를 적는 필수 기록입니다. 단순히 좋음·나쁨이라고 적지 않고 원문에서 다시 찾을 수 있는 결함을 씁니다.

I열은 점수가 숫자 세 개인지, 각 값이0~2의 정수인지, 감점 이유가 비어 있지 않은지 검사합니다. 입력이 정상일 때 E열은 합계를 냅니다.

=IF(I2="입력 확인됨",SUM(B2:D2),"")

Microsoft SUM 문서는 값을 더하는 기능을 설명합니다. 여기서 5점이라는 수치는 세 가상 평가 입력의 산술 결과입니다. 동점이므로 가장 긴 응답을 임의의 승자로 지정하지 않습니다. 총점이 같아도 A는 문법, B는 내용 누락, C는 계약 키를 각각 검토해야 합니다.

수정본을 새 셀에 기록하기

1. A는 원문의 마지막 중괄호 앞에 닫는 따옴표 한 개를 추가합니다.

2. B는 next_action을 송장 조회 후 예상 도착일 안내로 수정합니다. 원래 입력에 있던 요소만 복원합니다.

3. C의 수정본 B4에서 키 이름 action을 next_action으로 수정합니다. 해당 값의 문장은 보존합니다.

4. 수정 후 문자열을 수정본 시트 B2:B4에 입력하고 C열에 실제 편집한 부분을 기록합니다.

5. 원문 시트가 바뀌지 않았는지 다시 확인합니다. 원문에서 고친 뒤 점수만 낮게 남기는 방식은 피합니다.

이렇게 수정한 세 객체는 이 가상 계약에서 같은 결과가 됩니다. 다음은 수정본 한 건의 전체 문자열입니다.

{"ticket_id":"T-101","category":"배송 지연","reason":"배송 지연","next_action":"송장 조회 후 예상 도착일 안내"}

수정본의 키·근거·형식 점수는 각각2이고 G열 총점은6입니다. 채점 G열은 수정본 총점을 참조하며 H열은 수정 총점에서 원문 총점을 뺍니다. 기대 차이는1·1·1입니다. 이것은 사람이 만든 편집 전후 기록이며, 모델을 다시 실행하거나 모델이 학습해 좋아졌다는 뜻이 아닙니다.

JSON 검사와 의미 검토를 나누기

첨부 verify_responses.py는 Python 표준 라이브러리로 responses.json을 읽습니다. 네트워크나 모델을 호출하지 않습니다. 원문 A는 파싱 실패, B와 C는 파싱 성공이어야 합니다. B는 문법적으로 정상이어도 행동 요소가 누락돼 있고, C는 정상 JSON이어도 요구 키 집합과 다릅니다.

터미널에서 압축을 푼 폴더로 이동해 다음 명령을 실행합니다. 스크립트는 파일을 수정하지 않고 기대 조건을 검사합니다.

python3 verify_responses.py

검사 결과는 A의 문법 오류, B의 행동 요소 누락, C의 키 불일치를 각각 확인하고 수정본 세 개가 모두 계약과 일치하면 종료 코드0입니다. 이 검사는 이 실습에 정한 정확한 문자열과 키를 비교합니다. 일반 문의의 의미 정확성이나 사실성을 자동 검증하는 프로그램으로 확대 해석하지 않습니다.

점수 누락과 원문 덮어쓰기를 복구하기

확인 대상은 원문 문자열, 채점 I열, E/G/H열입니다. 사본에서 B2를 비우거나2.5로 바꾸면 I2는 입력 확인, E2와 H2는 빈칸이어야 합니다. J2 감점 이유를 비워도 같은 보류 상태입니다. B2=2와 원래 감점 이유를 복원하면 E2=5, G2=6, H2=1이 됩니다.

문자열을 수정했는데 JSON 검사가 실패하면 점수를 먼저6으로 올리지 않습니다. 마지막 정상 원문을 보존하고 수정본의 따옴표·쉼표·키 이름부터 확인합니다. A의 원문을 고쳐 저장해 버렸다면 압축 파일의 원문과 비교해 원문 시트만 복원하고, 수정본은 별도 기록으로 남깁니다.

감점 이유가 본문과 다르면 숫자만 고쳐 맞추지 않습니다. 원문과 요청을 다시 읽고 어느 기준을 적용했는지 함께 수정합니다. 근거 없는 점수를 지우면 합계가 빈칸으로 남는 것이 이 파일의 정상적인 중단 표시입니다.

검산 완료와 사용 범위

완료 기준은 원문 총점5·5·5, 수정본6·6·6, 차이1·1·1을 확인하고 서로 다른 세 감점 이유를 설명하는 것입니다. JSON 검사 통과와 원문 보존도 함께 확인합니다. 숫자만 맞는 채점표로 실제 모델 성능을 추천하지 않습니다.

XLSX의 수식과 합성 JSON 검사는 실제로 검산했지만 Microsoft Excel 앱과 AI 모델은 실행하지 않았습니다. 실제 평가에는 여러 입력, 독립 검토, 오류의 업무 영향, 재현 가능한 실행 조건이 더 필요합니다. 이 파일은 세 문자열의 검토 기록을 일관되게 남기는 작은 연습입니다.

Microsoft SUM 함수 문서에서 함수의 동작을 확인할 수 있습니다. SUM은 입력 값을 더합니다. 점수 기준과 세 응답은 이 글에서 만든 합성 실습 조건입니다.

출처 원문 수집일: S1 2026-09-24.

작성자 소개

최지원

엑셀·VBA·파이썬·AI 업무 자동화의 사용 절차와 실습 자료를 정리합니다.

WP 게시물 작성자의 글 보기