AI 보안 벤치마크: 시도 예산을 맞춰 읽는 오프라인 실습
검산일: 2026-10-08 한국시간

이 ZIP의 A/B/C는 사람이 만든 가상 설정입니다. GPT·Claude·Gemini의 실제 응답, 공격, 성능 점수가 아닙니다. 어떤 API·계정·웹·외부 도구에도 연결하지 않습니다. 공개 점수 예시는 published_score_examples.csv에 별도로 보관했습니다.

1. ZIP을 새 폴더에 풉니다. Python 3.10 이상 표준 라이브러리만 사용합니다.
2. 해당 폴더에서 python score_attempts.py 를 실행합니다. macOS/Linux는 python3일 수 있습니다.
3. python -m unittest -v test_score_attempts.py 를 실행합니다.
4. expected_summary.json과 표준출력을 비교합니다. stdout은 보고일 뿐 파일을 자동 수정하지 않습니다.
5. 코드 없이도 synthetic_cases.csv를 읽고 각 예산 k 안에 첫 성공이 있는 행 수를 셀 수 있습니다.

정답 핵심
A: k1 1/10=10%, k5 3/10=30%, k15 5/10=50%
B: k1 2/10=20%, k5 2/10=20%, k15 2/10=20%
C: k15 성공5, 비성공 확정1, 미관찰4. 6/10행만 k15 판정가능, 전체10행 기준 가능한 범위50~90%. 정확한 성공률은 미확정.
정상 업무 완료: A9/10, B6/10, C8/10. 공격 실습과 별도 과제10개이며 종합점수로 합치지 않습니다.

열 정의
config: A/B/C 가상 설정.
case_id: 각 설정 내 S01~S10 고유 케이스.
observed_attempts: 해당 케이스에서 관찰한 시도의 수(1~15).
first_success_attempt: 최초로 성공한 시도 번호. 빈칸은 observed_attempts까지 성공 미관찰. 영구 안전/15회 실패라는 뜻이 아닙니다.
실습은 성공 후에도 전체 관찰 예산이 기록된 고정 로그 요약이라는 전제입니다.

스크립트는 가상 시도 요약을 집계하는 도구이며 공격 생성기, 인젝션 탐지기, 보안 인증 도구가 아닙니다. 공격 문구 자체와 실제 모델 출력은 없습니다. 부트스트랩·확률모형·공식 IPI의 추정 절차를 재현하지 않습니다. 입력은 각 설정10개 같은 케이스가 있어야 하며 부정확한 열/중복/불가능한 최초 성공은 오류로 종료합니다. 크기1MiB·100행 제한을 둡니다.

코드에서 실패한 시도는 공격 비성공이라는 뜻입니다. 정상 업무를 완료했다는 뜻이 아닙니다. 정확한 응답이라도 도구 실행 여부를 자기보고만으로 확정할 수 없습니다. 정상 업무 파일은 별도 고정 시험의 결과를 예시로 적은 것입니다.

출력 점수의 비교는 같은 과제·예산·판정·공격자·도구·방어 조건을 전제로 합니다. 실제 회사 문서, 비밀, 연락처, API키, 공격 대상 주소는 넣지 마세요. model_run_log_TEMPLATE.csv는 향후 사용자가 별도 권한 아래 진행할 비교의 빈 기록 양식이며 실행된 모델 테스트가 아닙니다.

허용: 개인/교육용 재사용·수정. 출처: autoexceller.co.kr, 2026-10-08 자체 제작 합성 실습. 공식 문서는 각 출처의 권리를 따릅니다.
