Blogger:インデックス ステータスにロボットによりブロック済みが増え続けていくわけ

Blogger でブログを書いている人は気になっている（気になっていた）現象だと思います。

私が Blogger で公開しているブログを、ウェブマスターツールの Google インデックス→インデックスステータスで見てみました。

すると、インデックスに登録されたページの総数とともに、ロボットによりブロック済みのページ数が順調に伸びていました。

何かロボットにブロックされるようなページを作ってしまったり、おかしな設定をしてしまったんだろうか！？と心配していましたが、何のことはありませんでした。

クロール→ブロックされた URL にて、robots.txt を見てみると、次のような記載がありました。

User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://upa-pc.blogspot.com/feeds/posts/default?orderby=UPDATED

Disallow: /search とあります。

Disallow はクローラに対してアクセスを拒否するページを指定します。

/search で始まるページは、過去のページ一覧を見ていくときに表示されるページや、語句でブログを検索した時に表示されるページです。

従って、記事一覧を表示するだけの、情報としての価値の低いページは検索結果に表示されないよう、あらかじめブロックされているわけですね。

というわけですので、記事の投稿とともに、にロボットによりブロック済みのページ数がどんどん増えたとしても、正当な理由による増加なので、心配する必要は無さそうです。

参考文献

robots.txtの書き方（保存版） | 海外SEO情報ブログ
http://www.suzukikenichi.com/blog/how-to-create-robotstxt/

クローラーとインデクサの制御 | SEO 検索エンジン最適化
http://www.searchengineoptimization.jp/controlling-crawling-and-indexing

robots.txt ファイルを使用してページをブロックまたは削除する - ウェブマスター ツール ヘルプ
https://support.google.com/webmasters/answer/156449?hl=ja