AI가 쓴 글 29건 중 14건이 틀렸다 — 클로드 코드 서브에이전트로 사실 확인 자동화한 실험
AI가 쓴 정보 글은 얼마나 틀릴까. 이 블로그에서 직접 세어 봤다. 공공데이터 한 곳만 보고 쓴 행사 글 29건을 다시 점검했더니 14건에 사실 오류가 있었다. 사람이 읽고 승인해서 발행한 글들인데도 그랬다. 그래서 확인 방식을 바꿨다. 클로드 코드(Claude Code)의 서브에이전트 여러 개가 동시에 출처를 두 곳 이상 찾아 대조하고, 메인 세션은 그 결과를 규칙으로 검사한다. 이 글은 그렇게 바꾼 뒤 무엇이 달라졌고 무엇이 여전히 어려운지에 대한 기록이다.
서브에이전트는 메인 AI가 일을 나눠 맡기는 하위 AI다. 각자 별도의 대화 공간에서 조사하고 결과 보고서만 돌려준다. 그래서 메인 대화가 검색 결과로 가득 차지 않고, 여러 조사를 동시에 돌릴 수 있다.
처음에 무엇이 틀렸나
29건 중 14건에서 나온 오류는 대체로 네 가지였다.
| 유형 | 실제 사례 |
|---|---|
| 공공데이터 날짜를 그대로 믿음 | 행사 날짜가 실제보다 2주 이른 날짜로 등록돼 있었음 |
| 공식 사이트에 남은 옛 정보 | 홈페이지 탭 제목의 '제36회'를 그대로 씀(실제 제44회) |
| 지난해 자료를 올해로 착각 | 작년 프로그램·요금을 올해 것처럼 씀 |
| 비슷한 이름의 다른 대상 | 같은 골목의 옆 건물 역사를 씀 |
공통점은 출처가 하나였다는 것이다. AI는 찾은 자료를 성실하게 옮겼고, 그 자료가 틀렸을 뿐이다. 사람이 승인할 때도 문장은 자연스러워 보여서 날짜 하나하나를 대조하지는 못했다.
바꾼 방식: 지침 한 장, 에이전트 여러 개, 기계적 검사
- 지침 파일 한 장을 만들었다. 핵심 사실(날짜·요일·회차·장소·금액)은 서로 독립된 출처 두 곳에서 확인하고, 기사는 작성 연도를 확인하고, 날짜와 요일을 2026년 달력으로 맞춰 보고, AI 활용을 금지한 매체는 열지 말 것. 새 매체는 열기 전에 저작권 문구를 검사하는 스크립트부터 돌린다.
- 에이전트에 글 2~3건씩 나눠 맡겼다. 한 번에 6개를 동시에 돌려 행사 글 13건을 보강했다. 에이전트마다 결과로 "사실 | 출처 1 | 출처 2" 표와 "한 곳에서만 확인된 것" 목록을 내게 했다.
- 메인 세션은 규칙으로 검사했다. 분량, 소제목 수, 본문에 URL이 섞였는지, 행사 정보 상자와 겹치는 표가 있는지, 상투적 표현, 마지막 문장까지 짧은 스크립트로 확인한 뒤 제출했다.
바꾼 뒤 잡힌 것들
다시 점검한 글에서 고친 사례 일부다. 모두 두 번째 출처를 찾다가 드러났다.
- 올해 열린 근거가 없는 행사: 작년 날짜와 요일이 그대로였다(올해 9월 28일은 월요일인데 글은 일요일 기준). 글을 비공개로 내렸다.
- 차를 가져가라고 안내했지만, 공식 공지는 오후 5시부터 차량 진입 전면 금지에 무료 셔틀 3개 노선이었다.
- 문의 번호 한 자리 오기, "참가비 5,000원"이 실제로는 돌려받는 참여금인 경우.
- 열차 시각을 출발과 도착으로 바꿔 쓴 경우, '첫 시즌 10만 명'이 실제로는 두 번째 시즌 기록인 경우.
- 주최 기관을 틀리게 쓴 경우, 행사가 이미 끝났는데 미래형으로 남아 있던 경우.
정부지원 글은 처음부터 이 방식으로 썼다. 그 과정에서 언론 기사 몇 곳의 지원 금액이 공식 자료와 다르다는 것도 걸러졌다. 테크 글에서도 같은 일이 있었다. 서로 다른 시기의 발표를 섞어 만든 수치, 오역된 기능 이름, 틀린 API 예시가 두 번째 출처 대조에서 나왔다.
잘 안 된 것도 있다
- 규칙 위반: 에이전트가 저작권 검사를 하기 전에 사이트를 먼저 연 경우가 두 번 있었다. 둘 다 출처로 쓰지는 않았지만, 지침만으로 완전히 막히지는 않는다.
- 파일 충돌: 같은 작업 폴더를 쓰던 에이전트끼리
body.md라는 같은 이름의 파일을 서로 덮어썼다. 이후 파일 이름은 반드시 글 주소(slug)로 시작하게 바꿨다. - 검색 한도: 하루 작업 중간에 웹 검색 한도(세션당 200회)를 다 썼다. 그 뒤로는 공식 사이트를 직접 열어 확인했다. 정확도는 유지됐지만 느려졌고, 한 곳에서만 확인되는 사실이 늘었다.
- 비용: 에이전트 하나가 글 2~3건을 조사하는 데 대략 11만~22만 토큰, 시간은 5~15분이 들었다. 짧은 소식 글이라면 과하다.
- 끝까지 못 찾는 정보: 결과 발표가 아직 안 나온 행사, 공식 페이지가 열리지 않는 기관이 있다. 이럴 땐 "발표 자료에 없다"고 쓰는 게 지어내는 것보다 낫다.
해 보고 남은 원칙
개인적으로 가장 큰 변화는 AI에게 "정확하게 써라"고 말하는 대신 **"출처를 두 개 대라"**고 시킨 것이었다. 정확하라는 요구는 확인할 방법이 없지만, 출처 두 개는 표로 받아 검사할 수 있다. 정리하면 이렇다.
- 사실 확인은 문장 다듬기와 분리해 별도 에이전트에게 맡긴다.
- 결과는 반드시 "사실-출처" 표로 받는다.
- 한 곳에서만 확인된 사실은 지우지 말고, 본문에 "○○ 안내 기준"처럼 출처를 밝힌다.
- 마지막 판단은 사람이 한다. 다만 사람이 보는 것은 문장이 아니라 출처 표다.
수치와 사례는 이 블로그의 2026년 9월 29일~10월 3일 점검·보강 기록에서 가져왔다.