Cześć wszystkim.

Zauważyliśmy w ostatnich miesiącach, że wiele robotów Microsoft, Google lub podobnych były dość agresywne podczas przeglądania stron internetowych, powodując nawet wysokie wykorzystanie zasobów kont, podczas gdy nie powinno tak być.

Rada, aby włożyć termin do pliku robotów.txt, dodać "Crawl-delay: 5," tuż poniżej istniejącej linii: "User-agent: *", to powie robotom, aby przeszukali witrynę z opóźnieniem 5 sekund pomiędzy każdą stroną:

To powinno wyglądać tak:

Używaj: *

Crawl-delay: 5

Z poważaniem,

Ekipa YOORshop