クローラーとは、GoogleやBingといった検索エンジンが、無数にあるWebサイトの情報を収集・巡回するために使っている自動プログラム（ロボット）を指します。 また、主にHTML、テキストファイル、CSSファイル、JavaScript、画像などの情報を収集しています。SEO対策においては、自社サイト内のページ情報を正確にクローラーが認識できるようにする施策が重要です。