Hola a todos,

Hemos observado en los últimos meses que muchos bots de Microsoft, Google u otros similares, eran bastante agresivos cuando se rastreaban sitios web, incluso causando un alto uso de recursos de cuentas, mientras que no debería ser el caso.

El consejo, es insertar un retraso en el archivo robots.txt, añadir "Crawl-delay: 5", justo debajo de la línea existente: "Usuario-agent: * ", esto le dirá a los robots que arrastren su sitio con un retraso de 5 segundos entre cada página:

Debería verse como sigue:

Usuario-agente: *

Crawl-delay: 5

Saludos,

Equipo YOORshop