robots.txtとは、Googleなどの検索エンジンのクローラーに対して、「どのURLにアクセスしていいか」を伝えるものである。 これを使えば、特定のページやフォルダのクロールを拒否できる（クロールさせない）ことがで … 続きを読む robots.txtとは？設置する理由・SEO効果・書き方を解説