今頃になってrobots.txtを設置する

あまり余計なものは置かない方針でやってきて、faviconもつい最近まで無かった。
robots.txtを置かなくてもページの方でnofollowを設定しておけばそれで事足りるじゃないか、という考えがあった。
ところが、Google Toolabar等を使っている人が直接アドレスをタイプしてアクセスした場合にはそのURLがGoogleに送られてしまいインデックス化されてしまう。
これは嬉しくない。
また、某サイトのPHPのミスが原因でうちのサイトのURLの後ろに?に続けて変な文字列を付加したアドレスがインデックス化されていて、このアドレスにアクセスすると?以下が無い普通のアドレスにアクセスしたのと同じようにページが表示されてしまうのでインデックスから消えることがない。
困ることはないが、気分いいものではない。
で、これらを解決するためにしょうがないからrobots.txtを置く。