15 сентября 2026 года Cloudflare обновил правила доступа ИИ-ботов к сайтам, что может оказать влияние на сбор данных для обучения и поисковые запросы. В результате изменений блокировка запросов от обучающих ботов увеличилась, в то время как запросы от поисковых ботов стали обрабатываться чаще. Это может привести к проблемам с доступом к информации для обучения моделей ИИ.

Исследование, проведенное компанией Seensure, охватило 1 046 сайтов и показало, что новые настройки могут затруднить работу обучающих ботов, что в свою очередь может повлиять на качество и доступность данных для обучения. Важно отметить, что тест использовал подставленные имена, что не гарантирует точность результатов в отношении настоящих краулеров.

Пользователям рекомендуется проверить настройки доступа к ИИ-ботам, чтобы избежать нежелательных последствий. Настройки следует проверять по категориям, а реальный доступ можно оценить, анализируя логи запросов. Это поможет сохранить баланс между защитой данных и доступом к информации для обучения ИИ.