AI가 내 글을 읽을 때 돈을 내게 될까: Cloudflare가 바꾸는 검색·에이전트·학습 크롤러

원문 링크: WordPress 원문

AI NOTES · KO KOREAN EDITION

KO · 한국어 / EN · English BILINGUAL PAIR

** 작성일 **: 2026-07-18

** 주제 **: Cloudflare AI traffic controls and Monetization Gateway

** 출처 **: blog.cloudflare.com (3개 공식 글, 2026-07-01)

서론: 검색창에서 답이 완성되는 시대

우리가 검색창에 질문을 입력하면 무슨 일이 일어날까요.

예전에는 검색엔진이 인터넷에 있는 수많은 페이지를 뒤져서 관련성 높은 링크를 보여줬습니다. “파리의 날씨”라고 검색하면 관련 기사 링크들이 나오고, 원하는 답을 얻으려면 그중 하나를 클릭해서 해당 사이트로 들어가야 했죠.

이런 구조는 암묵적인 교환이 있었습니다. 사이트는 검색엔진이 자신의 페이지를 읽고 색인할 수 있도록 허용하고, 대신 검색 결과에서 방문자를 받아왔습니다. 광고나 구독으로 수익을 내는 사이트에게 이 방문자 유입은 생명줄과 같았습니다.

이제는 조금 다릅니다. AI 검색은 링크만 보여주는 것이 아니라 여러 페이지를 읽고 직접 답을 완성합니다. “파리의 날씨”라고 물으면 오늘 기온과 강수 확률을 요약해서 바로 보여줍니다. 편리하지만 문제는 이 답 안에 원문 사이트로 가는 링크가 줄어든다는 점입니다.

Cloudflare는 이런 변화가 단순한 기술 문제가 아니라 인터넷의 기본 경제 구조를 바꾸는 일이라고 보고 있습니다. 그리고 2026년 7월 1일, 창작자들이 자신의 콘텐츠를 어떻게 관리할지 더 세밀하게 선택할 수 있는 새로운 기능을 내놓았습니다.

1. 검색 크롤러가 일해오던 방식

크롤러, 혹은 봇은 인터넷의 자동 수집원입니다. 수십억 개의 웹페이지를 사람 대신 돌아다니며 읽고, 중요한 내용을 검색엔진 데이터베이스에 저장합니다.

이 과정은 꽤 오래된 교환 관계를 만들었습니다.

사이트 측 : 검색엔진이 내 페이지를 읽고 색인하게 허용합니다.
검색엔진 측 : 사용자가 검색했을 때 해당 페이지를 결과에 보여주고, 사용자가 클릭하면 사이트로 방문자를 보냅니다.

이 교환 덕분에 작은 블로그나 개인 홈페이지도 전 세계에서 발견될 수 있었습니다. 광고 기반 수익을 내는 미디어, 제품을 파는 쇼핑몰, 지역 정보를 모은 커뮤니티 모두 이 구조에 의존해왔습니다.

그런데 AI가 등장하면서 이 교환은 한쪽으로 기울기 시작했습니다.

2. AI가 바꾼 검색의 구조

AI 검색은 단순히 링크를 나열하는 것이 아닙니다. 수십 개의 페이지를 읽고 내용을 종합해서 사용자에게 직접 답을 만듭니다. 이 과정에서 원문 사이트를 거치지 않습니다.

예를 들어 “2026년 반도체 시장 전망”을 검색한다고 합시다.

예전 : 뉴스 기사 10개의 링크가 나옵니다. 사용자가 관심 있는 링크를 클릭해서 각 사이트로 들어가서 읽습니다.
지금 : AI가 여러 기사를 읽고 “메모리 수요 증가, 공급 우려, 가격 상승 가능성” 같은 요약 답을 바로 보여줍니다.

사용자 입장에서는 편리합니다. 하지만 원문 사이트는 방문자를 잃게 됩니다. 광고 노출 기회, 구독 유도 기회, 제품 판매 기회가 모두 줄어듭니다.

이것은 기술적인 변화 이상입니다. 인터넷의 기본 경제 모델인 “콘텐츠 대 방문자 교환”이 약해지고 있습니다.

Cloudflare의 데이터에 따르면 이제 인터넷 트래픽의 절반 이상이 사람이 아닌 자동화된 프로그램이 차지하고 있습니다. 일부 산업 분야에서는 1년 만에 인간 방문자가 40%나 줄어든 곳도 있습니다.

3. 검색 AI와 AI 에이전트는 다릅니다

여기서 한 가지 더 구분할 필요가 있습니다. 자동화된 방문자도 목적이 다릅니다.

** 검색 AI(Search)** 는 정보를 찾아서 검색 결과를 만들거나 AI 답변을 생성합니다. 사용자가 질문하면 관련 페이지를 읽고 요약해서 답을 줍니다. 이 과정에서 원문 사이트로의 링크를 포함할 수도 있습니다.

**AI 에이전트(Agent) ** 는 한 단계 더 나갑니다. 정보를 찾는 것을 넘어서 비교하고 선택하고 행동까지 합니다. 예를 들어 사용자가 “서울에서 제주도 가는 항공권 가장 싼 것 찾아줘”라고 하면 여러 사이트를 돌아다니며 가격을 비교하고 예약까지 이어갈 수 있습니다.

** 학습(Training) ** 은 AI 모델 자체를 만드는 과정입니다. 웹에서 수집한 방대한 텍스트로 언어 모델의 성능을 향상시킵니다. 이 과정에서도 웹페이지를 읽지만, 그 결과는 특정 검색 결과나 답변이 아니라 모델 전체의 능력 향상으로 이어집니다.

같은 회사의 봇이라도 이 세 가지 목적으로 웹을 방문할 수 있습니다. Googlebot은 검색 색인을 위해 오지만, AI 모델 학습 자료를 수집하기도 합니다. 이걸 하나로 묶어서 “AI 봇”이라고만 하면 사이트 운영자는 제대로된 선택을 할 수 없습니다.

Cloudflare의 AI 크롤러 분류: Search(검색 색인), Agent(행동 수행), Training(모델 학습).

Cloudflare의 AI 크롤러 분류: Search(검색 색인), Agent(행동 수행), Training(모델 학습).

4. Cloudflare가 세 가지로 나눈 이유

Cloudflare는 이걸 해결하기 위해 2026년 7월 1일부터 AI 방문자를 세 종류로 구분하는 기능을 모든 고객에게 무료로 제공하기 시작했습니다.

Search

** 하는 일 ** 검색 색인과 AI 답변 생성을 위해 페이지를 읽습니다

** 사이트 운영자 관점 ** 사용자를 원문으로 보낼 가능성이 있는 방문

Agent

** 하는 일 ** 사람 대신 정보를 읽고 작업을 수행합니다

** 사이트 운영자 관점 ** 방문자를 대신해서 행동하는 방문

Training

** 하는 일 ** AI 모델 학습을 위해 콘텐츠를 수집합니다

** 사이트 운영자 관점 ** 원문 방문 없이 모델 능력 향상에 기여하는 방문

이제 사이트 운영자는 각각을 따로 허용하거나 차단할 수 있습니다.

검색 노출은 유지하면서 학습은 막고 싶다 → Search는 허용, Training은 차단
에이전트의 자동 방문은 허용하지만 학습은 막고 싶다 → Agent는 허용, Training은 차단
모두 허용하거나 모두 차단하는 것도 가능합니다

이 기능은 무료 이용자(Free tier)에게도 제공됩니다. 작은 블로그나 개인 사이트도 자신의 콘텐츠가 어떤 목적으로 사용되는지 선택할 수 있게 된 것입니다.

5. 9월 15일에 무엇이 바뀌나

Cloudflare는 2026년 9월 15일에 기본값을 바꿀 예정입니다. 이것은 새로운 규칙이 아니라 기본 설정의 변경입니다.

** 광고가 있는 페이지 ** 에서 다음과 같이 적용됩니다:

Search : 기본 허용 (방문자 유입 가능성이 있으므로)
Agent : 기본 차단 (사람 대신 행동하는 방문)
Training : 기본 차단 (방문자 없이 콘텐츠를 활용하는 방문)

왜 광고 페이지를 기준으로 할까요? Cloudflare의 설명은 이렇습니다. “광고가 있는 페이지는 사이트 운영자가 사람의 주목을 기대하고 수익을 내기 위해 만든 공간입니다. 거기서는 사람의 주목이 목표이고, 이를 방해하는 봇은 제한하는 것이 합리적입니다.”

다만 이것은 기본값일 뿐입니다. 사이트 운영자는 언제든지 설정을 바꿀 수 있습니다. 또한 검색과 학습을 동시에 하는 다용도 크롤러는 가장 제한적인 규칙이 적용됩니다. 예를 들어 Training을 차단한 상태라면 Googlebot도 광고 페이지에서는 접근이 제한됩니다.

** 중요 **: 이 변경은 9월 15일에 시행될 예정이며, 현재는 아직 적용되지 않았습니다.

6. 더 깊은 단계: AI가 콘텐츠 사용료를 지불할 수 있을까

크롤러 제어는 지금 당장 가능한 기능입니다. 하지만 Cloudflare는 한 걸음 더 나아가고 있습니다.

Monetization Gateway 는 사이트 운영자가 AI나 자동화 프로그램에게 콘텐츠 사용료를 받을 수 있게 하는 실험입니다. 아직 대기자 명단(waitlist) 단계이며, 출시된 제품은 아닙니다.

이 시스템의 핵심은 x402 라는 프로토콜입니다.

x402는 무엇인가

HTTP에는 잘 알려지지 않은 상태 코드가 하나 있습니다. 402 Payment Required (결제 필요). 원래는 유료 콘텐츠를 위한 코드로 만들어졌지만 실제로는 거의 사용되지 않았습니다.

x402는 이 코드를 사용합니다. 작동 방식은 이렇습니다:

요청 : AI 에이전트가 웹페이지나 API를 요청합니다.
응답 : 서버가 “이 자료는 유료입니다. 가격은 0.01달러이고, USDC로 결제 가능합니다”라고 돌려줍니다 (HTTP 402).
결제 : AI 에이전트가 스테이블코인(USDC 등)으로 지불하고, 결제 증명을 다시 요청에 붙여 보냅니다.
제공 : 서버가 결제를 확인하고 콘텐츠를 제공합니다.

이 과정은 일반적인 HTTP 요청 안에서 이루어지며, 결제 페이지로 리다이렉트하거나 별도의 계정 가입이 필요하지 않습니다. 결제 자체가 접근 권한이 됩니다.

왜 스테이블코인인가

기존 신용카드 결제는 소액 결제에 비효율적입니다. 수수료와 처리 시간 때문에 1센트짜리 요청 하나하나에 결제를 붙이는 것은 현실적으로 어렵습니다.

스테이블코인은 이 문제를 해결합니다. 수수료가 거의 없고, 1초 이내에 결제가 완료됩니다. 한 번에 수천 개의 작은 결제를 자동으로 처리할 수 있습니다. AI 에이전트가 사람의 승인 없이도 필요한 자료를 사서 읽을 수 있는 기초가 되는 것입니다.

현재 상태

Monetization Gateway는 ** 아직 출시되지 않았습니다 **. 대기자 명단을 받고 있으며, 실제 기능은 다음과 같이 계획되어 있습니다:

특정 API 경로(GET/POST)에 대해 요청당 요금 설정
작업 복잡도에 따른 변동 가격 (예: 이미지 생성은 최대 $2)
인증되지 않은 방문자에게만 결제 요구
Cloudflare 대시보드나 API, Terraform으로 규칙 관리

Cloudflare는 이것이 “에이전트 우선 인터넷(Agent-first Internet)”의 기초가 될 것이라고 설명합니다. AI 에이전트가 인터넷의 주요 사용자가 되고, 요청 하나하나가 거래가 되는 세상을 상상하고 있습니다.

x402 프로토콜의 HTTP 402 결제 흐름: AI 에이전트 → 결제 게이트 → 서버 자원.

x402 프로토콜의 HTTP 402 결제 흐름: AI 에이전트 → 결제 게이트 → 서버 자원.

7. 창작자에게 생기는 선택

이 모든 변화가 주는 의미는 무엇일까요.

** 지금 당장 가능한 것 ** 은 명확합니다. Cloudflare를 사용하는 사이트라면 누구나 (무료 이용자도) 자신의 콘텐츠에 대한 AI 방문을 세 가지 목적으로 구분해서 관리할 수 있습니다. 검색 노출은 유지하면서 학습은 제한할 수 있고, 에이전트 접근은 허용하면서도 광고 페이지에서의 자동 행동은 막을 수 있습니다.

** 곧 시행될 것 ** 은 9월 15일 기본값 변경입니다. 광고 기반 수익을 내는 페이지에서는 Agent와 Training 접근이 기본적으로 차단됩니다. 이는 새로운 규칙이라기보다 기본 설정의 변경입니다.

** 아직 실험 단계인 것 ** 은 Monetization Gateway입니다. AI가 콘텐츠를 읽을 때마다 소액을 지불하는 구조는 흥미롭지만, 실제 시장이 형성되기까지는 시간이 필요합니다. 스테이블코인 결제의 규제 환경, AI 회사들의 참여 의지, 가격 책정 기준 등 아직 해결해야 할 과제가 많습니다.

Cloudflare가 보여주는 데이터는 인터넷의 경제 구조가 이미 변하고 있다는 것입니다. 인간 방문자가 줄고 자동화된 프로그램이 늘면서 기존의 광고·구독 모델이 압박받고 있습니다. 이 상황에서 창작자가 자신의 콘텐츠를 어떻게 관리할지 결정할 수 있는 권리를 갖는 것은 중요한 방향입니다.

인터넷 트래픽의 절반 이상이 이제 자동화된 프로그램의 것입니다.

인터넷 트래픽의 절반 이상이 이제 자동화된 프로그램의 것입니다.

하지만 이것이 곧바로 “AI가 콘텐츠에 돈을 내는 시대”를 의미하지는 않습니다. 지금은 선택의 폭을 넓혀주는 도구가 생긴 단계이며, 이 도구가 어떻게 작동할지는 앞으로의 실험과 참여에 달려 있습니다.

레퍼런스

Your site, your rules: new AI traffic options for all customers — Cloudflare, 2026-07-01
Announcing the Monetization Gateway: charge for any resource behind Cloudflare via x402 — Cloudflare, 2026-07-01
Content Independence Day, one year on: building the business model for the agentic Internet — Cloudflare, 2026-07-01

이 글은 기술 동향을 설명하는 것이며, 특정 서비스 사용을 권유하거나 보증하지 않습니다. Cloudflare의 기능은 현재 공식 문서를 기준으로 설명했으며, 향후 변경될 수 있습니다. *