Cloudflare заставляет ИИ-компании разделять поисковых и обучающих ботов
Новый срок для «смешанных» краулеров
Cloudflare последовательно ужесточает правила для ИИ-краулеров с середины 2025 года, когда первой среди крупных инфраструктурных провайдеров перешла от модели блокировки по запросу к блокировке по умолчанию.
Следующий шаг наступает 15 сентября 2026 года: Cloudflare начнёт по умолчанию блокировать так называемых «смешанных» ИИ-краулеров на любой странице с рекламной монетизацией — если только оператор краулера явно не разделит поисковый и обучающий трафик.
Почему это разделение важно
До сих пор один и тот же краулер мог незаметно выполнять обе задачи — индексировать страницу для ИИ-поискового продукта компании и одновременно собирать её как обучающие данные.
Принудительное разделение даёт владельцам сайтов реальный рычаг: оставить краулера, который выводит контент в результаты ИИ-поиска, и заблокировать того, кто просто собирает данные для обучения модели.
К чему это ведёт
В комплекте идёт модель оплаты за краулинг — более значимая часть в долгосрочной перспективе: она превращает простое «разрешить или заблокировать» в реальные коммерческие переговоры между издателями и ИИ-компаниями.
Отдельно стоит отметить: сам robots.txt остаётся чисто добровольным сигналом без какого-либо принуждения. Блокировка Cloudflare происходит на уровне CDN/сервера независимо от того, что заявляет оператор краулера.
По материалам TechCrunch
А ваш контент готов к историям вроде этих?
Запустите бесплатную проверку AI Readiness — retrieval, extractability, сигналы schema.org и приоритизированное ТЗ на правки, оценённые так, как страницу реально читает ИИ-ассистент.