Robots.txtは、ウェブサイトがウェブクロールボットに指示を提供できるテキストファイルです。
Google のような検索エンジンに、サイトをインデックスする際にウェブサイトのどの部分にアクセスでき、どの部分にアクセスできないかを伝えます。
これにより、robots.txt は SEO の強力なツールとなり、特定のページが Google 検索結果に表示されないようにするためにも使用できます。
robots.txtはどのように機能しますか？
Robots.txtは、検索エンジンのボットにウェブサイトのどのページをクロールおよびインデックスするかを指示するために作成できるテキストファイルです。通常、ウェブサイトのルートディレクトリに保存されます。
Googleのような検索エンジンは、ウェブクローラー（ウェブボットとも呼ばれる）を使用してウェブサイトをアーカイブおよび分類します。ほとんどのボットは、ウェブサイトの他のファイルを読み取る前に、サーバーでrobots.txtファイルを検索するように設定されています。ボットがこれを行うのは、ウェブサイトの所有者がサイトのクロールとインデックス作成に関する特別な指示を持っているかどうかを確認するためです。
robots.txt ファイルには、特定のファイルまたはディレクトリを無視するようにボットに要求する一連の指示が含まれています。これはプライバシーのためであったり、ウェブサイトの所有者がそれらのファイルやディレクトリの内容が検索エンジンでのウェブサイトの分類に関連がないと考えているためであったりします。
robots.txtファイルの例を次に示します。
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Sitemap: https://example.com/sitemap_index.xml
この例では、「User-Agent」の後のアスタリスク「*」は、すべての検索エンジンに対する指示であることを指定しています。
次に、WordPressのアップロードフォルダ内のファイルを検索エンジンにクロールおよびインデックスさせます。その後、プラグインとWordPress管理フォルダのクロールおよびインデックスを禁止します。
URL を disallow しない場合、検索エンジンのボットはそれをインデックスできると想定することに注意してください。
最後に、XMLサイトマップのURLを提供しました。
WordPress で Robots.txt ファイルを作成する方法
robots.txtファイルを作成する最も簡単な方法は、All in One SEOを使用することです。これは市場で最高のWordPress SEOプラグインであり、使いやすいrobots.txtファイルジェネレーターが付属しています。
使用できる別のツールは、強力なコードスニペットプラグインであるWPCodeです。これにより、カスタムコードをウェブサイトに簡単かつ安全に追加できます。Proバージョンには、robots.txtファイルをすばやく編集できる便利な機能が含まれています。
ただし、コードに慣れている場合は、robots.txtファイルを手動で作成できます。robots.txtファイルを編集するには、FTPクライアントを使用する必要があります。または、WordPressホスティングによって提供されるファイルマネージャーを使用することもできます。
robots.txtファイルの作成の詳細については、SEOのためにWordPressのrobots.txtを最適化する方法に関するガイドを参照してください。
検索エンジンによるサイトのクロールを停止するためにrobots.txtを使用する方法
検索エンジンは、ほとんどのウェブサイトにとって最大のトラフィックソースです。しかし、検索エンジンにサイトのインデックス作成を抑制させたい理由はいくつかあります。
たとえば、ウェブサイトをまだ構築中の場合、検索結果に表示させたくないでしょう。プライベートブログやビジネスイントラネットも同様です。
robots.txtファイルでdisallowルールを使用して、検索エンジンにウェブサイト全体または特定のページをインデックスしないように依頼できます。詳細な手順は、検索エンジンがWordPressサイトをクロールしないようにする方法に関するガイドに記載されています。
All in One SEOのようなツールを使用して、これらのルールをrobots.txtファイルに自動的に追加できます。
すべてのボットがrobots.txtファイルを尊重するわけではないことに注意することが重要です。悪意のあるボットの中には、robots.txtファイルを読んで、最初にどのファイルやディレクトリをターゲットにすべきかを見つけるものもあります。
また、robots.txtファイルが特定のページを無視するようにボットに指示した場合でも、それらのページがクロールされた他のページにリンクされている場合、検索結果に表示される可能性があります。
この記事がWordPressのrobots.txtについて理解を深めるのに役立ったことを願っています。関連する便利なWordPressのヒント、トリック、アイデアに関する記事については、以下の追加資料リストも参照してください。
この記事が気に入った場合は、WordPressのビデオチュートリアルのために、YouTubeチャンネルを購読してください。また、TwitterやFacebookでも私たちを見つけることができます。
