日々のコンピュータ情報の集積と整理

Dr.ウーパのコンピュータ備忘録

2014年5月7日水曜日

Blogger:インデックス ステータスにロボットによりブロック済みが増え続けていくわけ

Blogger でブログを書いている人は気になっている(気になっていた)現象だと思います。

私が Blogger で公開しているブログを、ウェブマスターツールの Google インデックス→インデックスステータスで見てみました。

すると、インデックスに登録されたページの総数とともに、ロボットによりブロック済みのページ数が順調に伸びていました。


何かロボットにブロックされるようなページを作ってしまったり、おかしな設定をしてしまったんだろうか!?と心配していましたが、何のことはありませんでした。

クロール→ブロックされた URL にて、robots.txt を見てみると、次のような記載がありました。


User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://upa-pc.blogspot.com/feeds/posts/default?orderby=UPDATED


Disallow: /search とあります。

Disallow はクローラに対してアクセスを拒否するページを指定します。

/search で始まるページは、過去のページ一覧を見ていくときに表示されるページや、語句でブログを検索した時に表示されるページです。


従って、記事一覧を表示するだけの、情報としての価値の低いページは検索結果に表示されないよう、あらかじめブロックされているわけですね。


というわけですので、記事の投稿とともに、にロボットによりブロック済みのページ数がどんどん増えたとしても、正当な理由による増加なので、心配する必要は無さそうです。


参考文献

robots.txtの書き方(保存版) | 海外SEO情報ブログ
http://www.suzukikenichi.com/blog/how-to-create-robotstxt/

クローラーとインデクサの制御 | SEO 検索エンジン最適化
http://www.searchengineoptimization.jp/controlling-crawling-and-indexing

robots.txt ファイルを使用してページをブロックまたは削除する - ウェブマスター ツール ヘルプ
https://support.google.com/webmasters/answer/156449?hl=ja






関連記事

関連記事を読み込み中...

同じラベルの記事を読み込み中...
Related Posts Plugin for WordPress, Blogger...