Hallo zusammen,

Wir haben in den letzten Monaten bemerkt, dass viele kriechende Bots von Microsoft, Google oder anderen ähnlichen, ziemlich aggressiv waren, wenn sie Websites kriechen, was sogar eine hohe Ressourcennutzung von Konten verursachte, während dies nicht der Fall sein sollte.

Der Tipp ist, eine Verzögerung in Ihre robots.txt-Datei einzufügen, fügen Sie "Crawl-Delay: 5", direkt unter der bestehenden Zeile : "User-Agent: * ", dies sagt Robotern, dass sie Ihre Website mit einer 5 Sekunden Verzögerung zwischen jeder Seite durchsuchen sollen:

Es sollte wie folgt aussehen:

User-Agent: *

Crawl-Delay: 5

Beste Grüße,

YOORshop Team