Cloudflare запустила рынок контента для ИИ и сайтов

Cloudflare запустила сервис Pay per Crawl, который создает рынок контента для авторов и ИИ-компаний. 

Pay per crawl is a new feature to allow content creators to charge AI crawlers for access to their content. https://t.co/PUrlSs636k

— Cloudflare (@Cloudflare) July 1, 2025

В рамках эксперимента владельцы сайтов могут разрешать или запрещать ИИ-сканерам просматривать их ресурс, а также устанавливать фиксированный размер оплаты за каждый обход страницы.

Дополнительно они могут открыть бесплатный анализ страниц или закрыть его полностью.

Инструмент позволяет видеть, с какой целью краулеры просматривают сайт:

• для обучения ИИ;
• для предоставления ответов через ИИ-поисковик;
• для других целей.

Cloudflare предоставляет сервисы по защите, ускорению и стабильной работе веб-сайтов и интернет-приложений. На поставщика облачной инфраструктуры приходится 20% трафика в интернете. 

Новый сервис — большая идея, которая может предложить потенциальную бизнес-модель в эпоху искусственного интеллекта. Запуск происходит в то время, когда издатели новостей сталкиваются с экзистенциальными вопросами касательно способов достучаться до читателей, трафик Google Search падает, а пользователи выбирают поиск через чат-ботов. 

Некоторые компании вроде The New York Times подали судебные иски против технологических компаний за то, что те без разрешения и платы обучают свои ИИ-модели на новостных статьях. Другие заключили многолетние сделки для лицензирования контента. 

Cloudflare стремится создать более долговечную систему, в которой издатели смогут устанавливать цены на своих условиях.

Компания также заявила, что теперь все новые веб-сайты, созданные с помощью Cloudflare, по умолчанию будут блокировать ИИ-краулеры. Если владельцы хотят допустить автоматизированных сборщиков информации к своим ресурсам, они должны предоставить разрешение. Это даст каждому новому домену «контроль по умолчанию», утверждает фирма. 

Для тестирования Pay per Crawl ИИ-компаниям и издателям необходимо иметь учетные записи Cloudflare. Обе стороны в своих аккаунтах могут установить тарифы, по которым они согласны покупать и продавать контент. 

На данный момент криптовалюты не задействованы в новом решении, хотя некоторые эксперты считают, что данный класс активов идеально подходит для подобного взаимодействия. 

Напомним, в июне федеральный судья Уильям Алсуп постановил, что компания Anthropic имела право обучать модели на опубликованных книгах без разрешения авторов.