AI 활용 금지 기사, AI로 판정하면 안 되는 이유 — 정규식 출처 검사로 20곳 14초 실험
"이 언론사 기사, AI로 정리해서 출처로 써도 될까?" 블로그 글을 AI로 쓰다 보면 매번 부딪히는 질문이다. 기사 하단에 "AI 학습 및 활용 금지"라고 적힌 매체가 늘고 있어서다. 처음엔 이 판단도 AI에게 맡기려 했다. 그런데 금방 모순이 보였다. **AI가 그 기사를 읽어야 판단할 수 있는데, 읽는 것 자체가 그 매체가 금지한 'AI 활용'**이다. 그래서 판정은 AI 없이 정규식과 규칙만으로 하는 스크립트로 바꿨다. 오늘 실제 주소 20개로 돌려 보니 총 14초, AI 토큰은 0이었다.
판정 순서: 열기 전에 거른다
스크립트(source-check)는 Node.js 파일 하나다. 주소를 받으면 세 단계로 본다.
- 금지 도메인 목록: 사람이 확인해 정리한 목록(10월 3일 측정 당시 금지 23곳, 판단 보류 3곳)에 있으면 네트워크 요청 없이 바로 '금지'를 낸다. 연합뉴스·한겨레·노컷뉴스처럼 하단에 금지 문구를 단 매체, 그리고 robots.txt로 AI 봇을 막은 매체가 여기에 들어간다.
- robots.txt: 목록에 없는 새 사이트는 robots.txt를 받아 GPTBot, ClaudeBot, CCBot, Google-Extended, PerplexityBot 같은 AI 크롤러를 막았는지 본다. 막았으면 '금지 후보'다.
- 페이지 문구와 메타 태그: 그래도 통과하면 페이지를 받아 "AI 학습", "AI 활용", "인공지능 학습", "무단 수집 금지" 같은 문구를 정규식으로 찾는다.
noai메타 태그,tdm-reservation태그,X-Robots-Tag헤더도 함께 본다.
핵심은 1단계다. 이미 금지로 확인된 매체는 다시 열 일이 없다. 기사 본문은 AI는 물론이고 스크립트도 받지 않는다.
오늘 돌려 본 결과
10월 3일 실제 주소 20개를 하나씩 넣었다. Docker 컨테이너를 매번 새로 띄우는 시간을 포함해 건당 0.3~1.4초였다.
| 판정 | 건수 | 예 |
|---|---|---|
| 금지(목록) | 8 | 연합뉴스, 한겨레, 한국일보, 브레이크뉴스, 제주매일 |
| 금지 후보(보류 목록) | 2 | 부산일보, 한라일보 |
| 허용 | 10 | Cloudflare 블로그, Vercel, Next.js, 보안 연구 블로그 |
금지 8건은 0.3~0.9초에 끝났다. 페이지를 열지 않고 목록만 대조하기 때문이다. 허용 판정이 나온 곳만 robots.txt와 페이지를 받았고, 그래서 1초 안팎이 더 걸렸다.
이걸 AI에게 시켰다면 어땠을까. 직접 재지는 않았다. 앞서 말한 이유로, 금지 매체 페이지를 AI에게 읽히는 실험은 그 자체가 규칙 위반이기 때문이다. 다만 구조상 차이는 분명하다. AI 판정은 페이지 글자를 통째로 넣어야 하니 주소마다 토큰이 들고, 같은 문구를 두고도 답이 흔들릴 수 있다. 정규식은 같은 페이지에 늘 같은 답을 낸다.
정규식이 놓치는 것, 그래서 사람이 하는 것
규칙 기반에도 분명한 구멍이 있다. 실제로 겪은 것들이다.
- 문구가 바뀐다. 9월 25일엔 문제가 없던 지역 매체 두 곳이, 9월 29일 다시 보니 하단에 "AI학습 및 활용 금지"를 새로 달았다. 목록은 한 번 만들고 끝이 아니다. 그래서 '허용' 매체도 쓸 때마다 다시 돌린다.
- 애매한 문구가 있다. "무단 수집·재배포 금지"는 AI를 명시하지 않았다. 정규식으로는 판단할 수 없어서 '판단 보류' 목록에 넣고 사람이 정한다. 보류 중인 매체는 출처로 쓰지 않는다.
- 열리지 않는 사이트가 있다. 봇 차단으로 403을 주는 사이트는 판정 자체가 안 된다. 이번 수집기 개편 때 OpenAI 뉴스 피드를 뺀 이유다.
- 글이 아닌 곳의 문구. 이미지로 된 안내문이나 별도 약관 페이지에만 있는 조항은 놓칠 수 있다. 새 매체는 사람이 약관 페이지를 한 번 더 본다.
AI 금지 매체에만 나오는 정보가 꼭 필요할 때는 이렇게 한다. AI는 검색 결과에 보이는 주소와 제목만 '사람 확인용 링크'로 남기고, 사람이 직접 읽고 확인한 사실만 글에 반영한다. 그 기사는 출처로 달지 않는다.
어디에 쓰면 좋은가
개인적으로는 이 구조가 "AI를 덜 쓰는 것이 더 나은 설계"의 좋은 예라고 본다. 판단 기준이 명확하고(문구가 있는가, 봇을 막았는가), 틀렸을 때의 비용이 큰(저작권) 일은 규칙으로 먼저 거르고, AI는 그 문을 통과한 자료만 다루게 하는 편이 싸고 안전하다. 같은 원리를 다른 곳에도 쓸 수 있다.
- 개인정보가 들어 있을 수 있는 문서를 AI에 넣기 전에, 정규식으로 먼저 후보를 거른다.
- 외부 API 호출 전에 금지 목록·허용 목록으로 대상을 먼저 자른다.
- AI가 쓴 글을 발행하기 전에 분량·링크·중복 표 같은 기계적 기준부터 스크립트로 본다.
AI가 할 일을 줄이는 것도 AI 도입의 일부다.
측정은 2026년 10월 3일 이 블로그의 출처 검사 스크립트로 했다. 매체별 판정은 그날 기준이며, 문구가 바뀌면 달라질 수 있다.