클라우드플레어, 검색엔진은 두고 AI 학습만 차단하는 기능 출시

클라우드플레어가 검색엔진 크롤러는 허용하면서 AI 모델 학습용 크롤러만 골라 차단하는 기능을 정식 출시했다. 발표 제목은 "Stay discoverable in search while disallowing AI training"(검색 노출은 유지한 채 AI 학습은 차단). 3시간 전 해커뉴스에 올라온 글은 42점, 댓글 27개를 기록했다.

검색엔진과 AI 크롤러, 어떻게 다르게 대우하나

기존에는 robots.txt로 전체 크롤러를 막거나 허용하는 이분법밖에 없었다. 구글봇을 막으면 검색 노출도 사라진다. 클라우드플레어는 자사 네트워크를 지나가는 트래픽을 분석해 크롤러 종류를 식별한 뒤, 검색엔진 봇(구글, 빙, 덕덕고 등)은 통과시키고 AI 학습 봇(GPTBot, ClaudeBot, 퍼플렉시티봇 등)만 차단한다.

이 기능은 클라우드플레어 봇 관리(Bot Management) 제품군에 포함된다. 무료 플랜에서는 쓸 수 없고, 프로(월 20달러) 이상 또는 엔터프라이즈 플랜이 필요하다. 한국에서도 클라우드플레어 대시보드에서 바로 켤 수 있다. 한국어 문서는 아직 별도 공개되지 않았다.

커뮤니티 반응: "약속만 믿고 맡길 수 있나"

해커뉴스 댓글 27개 중 다수가 회의적이다.

"전 세계 모든 AI 기업이 이 약속을 지킨다고 해도, 제3자가 데이터를 긁어모아 재판매하면 막을 방법이 없다" — 해커뉴스 댓글

"AI 기업이 이걸 지킬 거라 믿는 건 내던질 수 있는 거리만큼만 신뢰한다는 말" — 해커뉴스 댓글

반면 "경쟁사 AI가 우리 연구 데이터를 학습하지 않게 하려니 유용하다"는 실무자 반응도 있었다. 기술적 차단과 법적·관행적 준수는 별개라는 지적이 핵심이다.

기존 대응과 뭐가 다른가

클라우드플레어는 자사 네트워크 규모(전 세계 웹 트래픽 약 20% 경유)를 이용해 새로운 AI 크롤러 등장 시 자동으로 규칙 업데이트한다고 밝혔다. 단, 식별되지 않은 크롤러나 일반 사용자 가장 봇은 막지 못한다.

한국 사이트에서 지금 쓸 수 있나

쓸 수 있다. 클라우드플레어 한국 리전(서울, 부산)을 쓰는 사이트라면 대시보드 → Security → Bots → "AI Scrapers and Crawlers" 항목에서 켜면 된다. 별도 코드 수정 불필요.

다만 무료 플랜은 제외다. 프로 플랜(월 2만 8천 원 선)부터 가능하다. 카페24, 아임웹 등 국내 호스팅 연동 여부는 각 사 문의가 필요하다. 한국어 고객지원은 영업시간 기준 제공된다.

쉽게 풀어보면

클라우드플레어가 새 기능을 내놨습니다. 검색엔진은 들어오게 두고, AI 학습용 봇만 문전에서 돌려보내는 기능입니다.

도서관에 비유하면 이렇습니다. 일반 독자(검색엔진)는 책을 열람하게 두고, 출판사 직원(AI 학습 봇)은 내용을 베껴 가려 할 때 막는 사서를 둔 셈입니다. 단, 이 사서는 클라우드플레어라는 특정 경비업체를 쓰는 도서관에만 배치됩니다.

기존에는 robots.txt라는 출입증 하나로 "전체 허용" 또는 "전체 금지"만 가능했습니다. 구글봇을 막으면 내 글이 검색에 안 뜹니다. AI 봇만 막으려면 일일이 사용자 에이전트(봇 이름)를 찾아 차단 규칙을 짜야 했습니다. 새 기능은 이걸 대시보드 스위치 하나로 처리합니다.

중요한 건 약속입니다. 클라우드플레어가 "이 봇은 AI 학습용이야"라고 식별해 차단해도, 그 봇을 운영하는 회사가 약속을 지키지 않고 몰래 긁어가면 기술적으로 막을 길이 없습니다. 해커뉴스 댓글 다수가 이 지적을 했습니다. "DRM처럼 모든 콘텐츠를 잠그지 않는 이상 완전 차단은 불가능하다"는 의견도 있었습니다.

나에게 미치는 영향

블로그·사이트 운영자라면

• 클라우드플레어 프로 이상 플랜을 쓴다면 지금 대시보드에서 켜보세요. 1분 걸립니다.
• 무료 플랜이라면 업그레이드 비용(월 20달러) 대비 효과를 따져보세요. 트래픽이 많지 않다면 robots.txt에 GPTBot, ClaudeBot, PerplexityBot 등 주요 봇 이름만 직접 적는 게 더 쌉니다.

콘텐츠 제작자라면

• 이 기능이 켜져 있어도 내 글이 이미 학습된 모델에서 사라지진 않습니다. 앞으로의 학습만 막을 뿐입니다.
• 한국 포털(네이버, 다음) 검색 봇은 허용 목록에 포함돼 있습니다. 국내 검색 노출에 영향 없습니다.

일반 독자라면

• 별도 행동 불필요합니다. 다만 "이 사이트는 AI 학습을 거부합니다" 배지가 달린 글을 보게 될 수 있습니다. 그게 전부입니다.

남은 쟁점: 식별되지 않은 크롤러는 누가 막나

클라우드플레어는 "알려진 AI 크롤러" 데이터베이스를 유지보수한다고 밝혔습니다. 하지만 신규 스타트업 봇, 오픈소스 크롤러, 일반 사용자 가장 봇은 식별 전까지 통과합니다. 이 공백을 메우려면 결국 사이트 운영자가 로그를 보고 직접 차단 규칙을 추가해야 합니다.

본지가 17일 전 다룬 오픈소스 거장들이 AI 기여를 거절하는 진짜 이유에서도 "검토 비용 폭증"이 문제였습니다. 이번 기능도 자동화된 1차 방어선일 뿐, 최종 책임은 운영자에게 남습니다.

확인된 사실: 클라우드플레어 프로 이상 플랜에서 한국 리전 포함 전 세계 리전에서 즉시 사용 가능.
기자 추론: 무료 플랜 확대나 한국어 전용 문서화는 향후 수요에 따라 결정될 가능성이 큽니다.