こんにちは

微软の多くのクローリングボットが Google サイトをクロールする際に かなり攻撃的で アカウントのリソースが多く使用されることもありましたが,そうすべきではありませんでした.

提示は, robots.txtファイルに遅延を挿入する場合は",Crawl-delay: 5"を追加します. 現行の直線以下です.: " User-agent: * ",これはロボットに各ページ間の5秒遅延でサイトをクロールするように指示します.

書き込みは以下の通りです

User-agent: *

クラウリング遅延: 5

挨拶を

YOORshop チーム