Bună, tuturor.

Am observat în ultimele luni că mulți roboți de explorare Microsoft, Google sau alte tehnologii similare au fost destul de agresivi atunci când au explorat site-uri web, ceea ce a condus chiar la o utilizare ridicată a resurselor conturilor, deși acest lucru nu ar trebui să se întâmple.

Sfatul este de a introduce un termen în fișierul dumneavoastră robots.txt, pentru a adăuga "Crawl-delay: 5" chiar sub linia existentă : "User-agent: *," va indica roboții să exploreze site-ul dvs. cu o perioadă de cinci secunde. între fiecare pagină:

Ar trebui să arate aşa.

User-agent:

Crawl-dey: 5

Cu drag.

Echipa YOORshop