Hej, allihopa.

Vi påpekade under de senaste månaderna att många krypande bots från Microsoft, Google eller liknande, var ganska aggressiva när krypande webbplatser, även orsakar hög resursanvändning av konton, medan det inte bör vara fallet.

Tipset, är att infoga en fördröjning i din robots.txt fil, lägga till "Crawl-delay: 5", precis under befintliga raden: "Användare-agent: * ", detta kommer att säga robotar att krypa din webbplats med en 5 sekunders fördröjning mellan varje sida:

Det bör se ut som följer:

Användaragent: *

Krymp-fördröjning: 5

- Jag vill hälsa på dig.

YOORShop-gruppen