自分のサイトが表示されるのに1分くらいかかるようになっていて、なんだろうと思ってサーバーのステータスをみたらloadaverageが50超えてた。
調べてみたところ、中国のサーチエンジンBaidu( http://www.baidu.com/ )のクローラーが尋常じゃない勢いでアクセスしまくっていた。
robots.txtに下記のように書いてドキュメントルートに置いたらおさまりました。
User-agent: Baiduspider Disallow: /*
自分のサイトが表示されるのに1分くらいかかるようになっていて、なんだろうと思ってサーバーのステータスをみたらloadaverageが50超えてた。
調べてみたところ、中国のサーチエンジンBaidu( http://www.baidu.com/ )のクローラーが尋常じゃない勢いでアクセスしまくっていた。
robots.txtに下記のように書いてドキュメントルートに置いたらおさまりました。
User-agent: Baiduspider Disallow: /*