Robots.txt zůstává základní signál pro slušné crawlery, ale už neumí popsat hlavní problém: stejný veřejný obsah může sloužit klasickému vyhledávání, AI odpovědím, tréninku modelů i načtení na pokyn uživatele. Provozovatel webu proto musí oddělit účel přístupu, ověřovat identitu botů, měřit dopad na infrastrukturu a u hodnotného obsahu řešit i vynucení pravidel mimo samotný robots.txt.

Cloudflare chrání miliony webů po celém světě před DDoS útoky a dalšími hrozbami. Díky obrovské síti datacenter, vlastnímu softwaru a inteligentní automatizaci dokáže zachytit i ty nejmasivnější útoky, často během několika sekund, aniž by ohrozila přístup legitimních návštěvníků.