検索エンジンにクロールされないように設定する

SEO的に、検索エンジンへの対応は必須となります。

検索エンジンに自サイトをクロールしてもらい、乗っけてもらうのは当然のことながら、全てクロールされてはちょっと困ってしまいます。

これはクロールしてもらっても、このファイルはクロールしてもらいたくないというのがあるのです。

Googleのウェブマスターツールで確認しますと、
「最適化」の「HTMLの改善」において、Googleがクロールした結果が表示されています。

その中に「重複するメタデータ」や「長いタイトルタグ」など、親切に「これはよくないですよ」と教えてくれています。

ウチのサイトも引っかかるものがありまして、「タイトルタグの記述なし」というところにムーバブルタイプのカレンダーを拾ってきて注意喚起されておりました。

どうやらPHP吐き出されたファイルを拾ってきているようです。

こういったファイルが「クロールされたくないもの」ということで、それをクロールしない設定とする方法を調べました。

「robots.txt」というテキストファイルを用意し、その中に、

User-agent: *
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.cgi$

と記述しました。

これで、「PHP」と「js」と「cgi」をクロールしないでくださいとロボットに言えるのです。

スポンサーリンク

シェアする

  • このエントリーをはてなブックマークに追加

フォローする