Ciao a tutti,

Negli ultimi mesi abbiamo osservato che molti bot che scansionano da Microsoft, Google o altri simili, erano piuttosto aggressivi quando si scansionavano i siti web, anche causando un elevato utilizzo delle risorse degli account, mentre non dovrebbe essere il caso.

Il suggerimento, è quello di inserire un ritardo nel tuo file robots.txt, aggiungere "Crawl-delay: 5", appena sotto la linea esistente: "User-agente: * ", questo dirà ai robot di eseguire la scansione del tuo sito con un ritardo di 5 secondi tra ogni pagina:

Dovrebbe sembrare come segue:

User-agent: *

Crawl-delay: 5

I migliori saluti,

Team di YOORshop