robots.txtは、クローラーのアクセスを制御するためのファイルです。 robots,txtを使用すると、アクセス制限をしたページにはクローラーが回らず、情報収集はされません。また、新しいページであればインデックスされず、既にインデックスされたページの場合は、情報更新されなくなります。 主に、会員限定のページや非公開ページなど、検索エンジンにインデックス登録させたくない場合に、活用しましょう。