サイトが検索エンジンにインデックスされないという問題があり、かなりはまったので、情報シェア。
[事象]
通常のブラウザでの閲覧は問題ないが、Googlebotなど、検索ロボットからはUnreachableとなる。googleのウェブマスターマスターツールにある、Fetch as googleを使うと、9割以上はunreachableになるが、たまに成功する。この結果、サイトが検索エンジンにインデックスされないという非常に致命的な状態に陥る。
サイトが検索エンジンにインデックスされないという問題があり、かなりはまったので、情報シェア。
[事象]
通常のブラウザでの閲覧は問題ないが、Googlebotなど、検索ロボットからはUnreachableとなる。googleのウェブマスターマスターツールにある、Fetch as googleを使うと、9割以上はunreachableになるが、たまに成功する。この結果、サイトが検索エンジンにインデックスされないという非常に致命的な状態に陥る。