クローラー(Crawler)とは、ウェブ上のリンクを辿って文書や画像などを周期的に取得し、自動的にデータベース化するプログラムのことを指します。
クローラー意外に、クローラ、ボット(Bot)、スパイダー、ロボットなどとも呼ばれています。
クローラーによってデータを集める検索エンジンのことをロボット型検索エンジンといいます。
現在では、GoogleのGooglebotをはじめ多くの検索エンジンが、このロボット型検索エンジンを採用しています。
検索エンジンの最適化を施すことで、ウェブサイトは検索画面で上位表示されやすくなり、インターネットビジネスを行う上で非常に重要になります。