WPBeginner - 初心者向けWordPressチュートリアル

最も必要とされている時に、信頼できるWordPressチュートリアルを。
WordPress入門ガイド
WPBカップ
2500万人以上
当社のプラグインを使用しているウェブサイト
16+
WordPress経験年数
3000+
専門家によるWordPressチュートリアル

SEOのためにWordPressのrobots.txtを最適化する方法

投稿者: Nouman Yaqoob | | 読者開示

共有数 1000 ChatGPT Perplexity X LinkedIn WhatsApp

小さな見落としがちなテキストファイルが、静かにウェブサイトのSEOを妨害している可能性があると気づいたときの、あの沈み込むような感覚。多くのサイトオーナーは、robots.txtファイルにある簡単な間違いが、Googleが最も重要なコンテンツを見つけるのを妨げていることに気づいていません。

何千ものWordPressサイトを監査した後、私たちは数え切れないほどこの状況を目にしてきました。良いニュースは、それを修正するのがあなたが思うよりも簡単であるということです。

このガイドでは、WordPressのrobots.txtファイルを最適化するために私たちが使用する、実証済みの正確な手順を説明します。正しく設定し、検索エンジンが効率的にサイトをクロールできるようにする方法を学びます。

SEO向上のためのrobots.txtファイルの最適化

圧倒されていますか？このガイドでカバーするすべての内容の簡単な概要を以下に示します。興味のあるセクションに自由にジャンプしてください。

  1. robots.txtファイルとは何ですか？
  2. WordPressサイトにrobots.txtファイルは必要ですか？
  3. 理想的なrobots.txtファイルとはどのようなものですか？
  4. WordPress で Robots.txt ファイルを作成する方法
  5. Robots.txt ファイルをテストする方法
  6. 最終的な考え
  7. WordPressのrobots.txtに関するよくある質問
  8. WordPressでrobots.txtを使用するための追加リソース

robots.txtファイルとは何ですか？

Robots.txt は、ウェブサイトの所有者が作成できるテキストファイルで、検索エンジンのボットにサイト上のページをどのようにクロールおよびインデックスするかを指示します。

通常、ウェブサイトのルートディレクトリ（メインフォルダとも呼ばれます）に保存されます。robots.txtファイルの基本的な形式は次のようになります：

User-agent: [user-agent name]
Disallow: [URL string not to be crawled]
 
User-agent: [user-agent name]
Allow: [URL string to be crawled]
 
Sitemap: [URL of your XML Sitemap]

特定のURLを許可または禁止するための複数の指示行を含め、複数のサイトマップを追加できます。URLを禁止しない場合、検索エンジンのボットはそれをクロールできると想定します。

robots.txtの例ファイルは次のようになります。

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/

Sitemap: https://example.com/sitemap_index.xml

上記のrobots.txtの例では、検索エンジンがWordPressのアップロードフォルダ内のファイルをクロールおよびインデックスすることを許可しています。

その後、プラグインとWordPress管理フォルダのクロールとインデックス作成を検索ボットに禁止しました。

最後に、XMLサイトマップのURLを提供しました。

WordPressサイトにrobots.txtファイルは必要ですか？

robots.txt ファイルがなくてもサイトは機能しますが、最適化された robots.txt ファイルを持つサイトは検索結果でより良いパフォーマンスを発揮することが一貫してわかっています。

さまざまな業界のクライアントとの連携を通じて、robots.txt による適切なクロールバジェット管理が、重要なコンテンツのインデックス作成を迅速化し、全体的な SEO パフォーマンスを向上させることを実感しています。

ブログを始めたばかりで、まだコンテンツが少ない場合は、これはあまり影響しません。

ただし、ウェブサイトが成長し、コンテンツが増えるにつれて、ウェブサイトがどのようにクロールおよびインデックスされるかについて、より詳細な制御が必要になる可能性が高くなります。

その理由は次のとおりです。

検索エンジンは、Googleが「クロールバジェット」と呼ぶものを各ウェブサイトに割り当てます。これは、指定された期間内にクロールするページの数です。

数千ものWordPressサイトでのテストを通じて、大規模なサイトは戦略的なrobots.txt構成を通じてこの予算を最適化することから特に恩恵を受けることがわかりました。

例えば、当社のエンタープライズクライアントの 1 社は、推奨される robots.txt の最適化を実装した後、クロール効率が 40% 向上しました。

WordPressの管理ページ、プラグインファイル、テーマフォルダなど、検索ボットにクロールさせたくないページへのアクセスを拒否できます。

不要なページを禁止することで、クロールクォータを節約できます。これにより、検索エンジンはサイト上のさらに多くのページをクロールし、できるだけ早くインデックスできるようになります。

robots.txtファイルを使用するもう1つの良い理由は、検索エンジンがウェブサイトの投稿やページをインデックスに登録するのを停止したい場合です。

ただし、robots.txtはコンテンツを隠すのに最適な方法ではないことを知っておくことが重要です。他のウェブサイトからリンクされている場合、disallowedページは検索結果に表示される可能性があります。

ページがGoogleに表示されないように確実にしたい場合は、代わりに「noindex」メタタグを使用する必要があります。これは、検索エンジンにページをインデックスに追加しないように指示します。

理想的なrobots.txtファイルとはどのようなものですか？

多くの人気ブログでは非常にシンプルなrobots.txtファイルを使用しています。その内容は、特定のサイトのニーズによって異なる場合があります。

User-agent: *
Disallow:

Sitemap: https://www.example.com/post-sitemap.xml
Sitemap: https://www.example.com/page-sitemap.xml

このrobots.txtファイルは、すべてのボットがすべてのコンテンツをインデックスに登録することを許可し、ウェブサイトのXMLサイトマップへのリンクを提供します。

WordPressサイトの場合、robots.txtファイルには以下のルールをお勧めします。

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/

Sitemap: https://www.example.com/post-sitemap.xml
Sitemap: https://www.example.com/page-sitemap.xml

これは、検索ボットにWordPressのすべての画像とアップロードされたファイルをインデックスするように指示します。これは、Googleのような検索エンジンが理解する便利なコマンドであるAllowディレクティブを具体的に使用します。

次に、WordPress管理エリア、デフォルトのreadme.htmlファイル（WordPressのバージョンを明らかにする可能性があります）、およびクロークされたアフィリエイトリンクの一般的なディレクトリ（例：/refer/）を検索ボットがインデックスに登録するのを禁止します。

robots.txtファイルにサイトマップを追加すると、Googleボットがサイト上のすべてのページを見つけやすくなります。

上記のルールは、すべての検索エンジンのクローラーに一度に適用されます。名前で特定のボットを対象とするルールを作成することもできます。たとえば、次のように、他のすべてのクローラーを許可したまま、Googlebotのみが特定のフォルダをクロールしないようにブロックできます。

User-agent: Googlebot
  Disallow: /private/

  User-agent: *
  Allow: /

特定のクローラーを対象にするには、ワイルドカードの*をユーザーエージェント名に置き換えます。一般的なユーザーエージェント名には、Googlebot（Google）、Bingbot（Bing）、Baiduspider（Baidu）などがあります。ほとんどのWordPressサイトではこのレベルの具体性は必要ありませんが、ある検索エンジンにはサイトの一部をスキップさせ、他の検索エンジンにはアクセスできるようにしたい場合には便利です。

理想的なrobots.txtファイルがどのようなものかを知ったところで、WordPressでrobots.txtファイルを作成する方法を見てみましょう。

WordPress で Robots.txt ファイルを作成する方法

WordPressでrobots.txtファイルを作成するには2つの方法があります。あなたに最適な方法を選択できます。

All in One SEO を使用して robots.txt ファイルを編集する方法 1

All in One SEO（AIOSEOとも呼ばれます）は、市場で最高のWordPress SEOプラグインであり、300万以上のウェブサイトで使用されています。ファイル編集やFTPアクセスを必要としない、ポイントアンドクリックインターフェイスを備えたビジュアルrobots.txtエディターが含まれています。

エディターはルールをリアルタイムで検証し、保存前に構文エラーを検出するため、3つの方法の中で最も初心者フレンドリーです。

詳細については、詳細なAIOSEOレビューをご覧ください。

まだAIOSEOプラグインをインストールしていない場合は、WordPressプラグインのインストール方法に関するステップバイステップガイドをご覧ください。

注意：AIOSEOの無料版も利用可能で、この機能が含まれています。

プラグインがインストールされ有効化されると、WordPress管理画面から直接robots.txtファイルを作成および編集するために使用できます。

All in One SEO » Tools にアクセスして、robots.txt ファイルを編集してください。

All in One SEOのRobots.txtファイルエディター

まず、「カスタムrobots.txtを有効にする」トグルを青色にクリックして、編集オプションをオンにする必要があります。

このトグルをオンにすると、WordPressでカスタムrobots.txtファイルを作成できます。

カスタム robots.txt ファイルを有効にする

All in One SEOは、画面下部の「Robots.txtプレビュー」セクションに既存のrobots.txtファイルを表示します。

このバージョンでは、WordPress によって追加されたデフォルトのルールが表示されます。

All in One SEOでのRobots.txtファイルプレビュー

これらのデフォルトルールは、検索エンジンに WordPress のコアファイルをクロールしないように指示し、ボットがすべてのコンテンツをインデックスできるようにし、サイトの XML サイトマップへのリンクを提供します。

これで、SEOのためにrobots.txtを改善するために独自のカスタムルールを追加できます。

ルールを追加するには、「User Agent」フィールドにユーザーエージェントを入力します。「*」を使用すると、すべてのユーザーエージェントにルールが適用されます。

次に、検索エンジンにクロールを「許可」するか「禁止」するかを選択します。

次に、「Directory Path」フィールドにファイル名またはディレクトリパスを入力します。

robotsファイルにルールを追加

ルールは自動的に robots.txt に適用されます。別のルールを追加するには、「ルールの追加」ボタンをクリックするだけです。

上記で共有した理想的なrobots.txt形式を作成するまで、ルールを追加することをお勧めします。

AIOSEOエディターは、ユーザーエージェント固有のルールもサポートしています。ユーザーエージェントフィールドに*を入力する代わりに、GooglebotやBingbotのような特定のボット名を入力して、そのクローラーにのみ適用されるルールを作成します。

注：AIOSEOは、robots.txtと同様にAI検索ツール（ChatGPTやPerplexityなど）用に機能するllms.txtファイルも生成します。両方のファイルを同じAIOSEOダッシュボードから管理できます。

カスタムルールは次のようになります。

robots.txtファイルのカスタムプレビュー

完了したら、「変更を保存」ボタンをクリックして変更を保存することを忘れないでください。

方法2：WPCodeを使用したrobots.txtファイルの編集

WPCodeは、カスタムコードをウェブサイトに追加できる、強力なコードスニペットプラグインです。

また、robots.txt ファイルをすばやく編集できる便利な機能も含まれています。

注意：WPCode無料プラグインもありますが、ファイルエディター機能は含まれていません。

まず、WPCodeプラグインをインストールする必要があります。ステップバイステップの説明については、WordPressプラグインのインストール方法に関する初心者向けガイドをご覧ください。

有効化すると、WPCode » ファイルエディター ページに移動する必要があります。そこに表示されたら、ファイルを編集するために「robots.txt」タブをクリックするだけです。

WPCode robots.txt エディター

これで、robots.txt ファイルの内容を貼り付けるか、入力できます。

注：WPCodeは、WordPressが自動生成するデフォルトのrobots.txtルールの上に入力内容を追加します。ファイルを完全に置き換えるわけではありません。また、サーバーのルートディレクトリにrobots.txtファイルが既に存在する場合、WPCodeはそのファイルを削除しない限り管理できません。

終了したら、ページ下部にある「変更を保存」ボタンをクリックして設定を保存してください。

方法3：FTPを使用してrobots.txtファイルを手動で編集する

この方法では、robots.txtファイルを編集するためにFTPクライアントを使用する必要があります。または、WordPressホスティングが提供するファイルマネージャーを使用することもできます。

プロのヒント: 編集する前に、元のrobots.txtファイル（存在する場合）のバックアップコピーをコンピューターにダウンロードすることをお勧めします。そうすれば、問題が発生した場合に簡単に再アップロードできます。

FTPクライアントを使用して、WordPressウェブサイトのファイルに接続するだけです。

サイトに入ると、ウェブサイトのルートフォルダに robots.txt ファイルが表示されます。

FTP で robots ファイルを編集する

表示されない場合は、robots.txt ファイルがない可能性が高いです。

その場合は、そのまま作成できます。

新しいrobotsファイルを作成

Robots.txtはプレーンテキストファイルなので、コンピューターにダウンロードして、メモ帳やテキストエディットなどのプレーンテキストエディターを使用して編集できます。

変更を保存した後、robots.txt ファイルをウェブサイトのルートフォルダにアップロードし直すことができます。

Robots.txt ファイルをテストする方法

robots.txtファイルを作成または編集した後、エラーがないか確認するのは良い考えです。小さなタイプミスが検索エンジンから重要なページを誤ってブロックする可能性があるため、この手順は非常に重要です！👍

Googleには専用のテストツールがありましたが、現在はメインのGoogle Search Consoleレポートにこの機能が統合されています。

まず、サイトがGoogle Search Consoleに接続されていることを確認してください。まだ行っていない場合は、WordPressサイトをGoogle Search Consoleに追加する方法に関する簡単なガイドに従ってください。

設定が完了したら、Google Search Consoleダッシュボードに移動します。左下のメニューにある設定に移動します。

次に、「クロール」セクションを見つけて、「robots.txt」の横にある「レポートを開く」をクリックします。

Google Search Console の設定で robots.txt レポートを開く

リスト内のファイルの現在のバージョンをクリックするだけです。

このレポートには、Googleが見つけたrobots.txtファイルの最新バージョンが表示されます。検出された構文エラーまたは論理的な問題が強調表示されます。

Google Search Console の robots.txt レポートに有効なファイルが表示されている

ファイルを更新したばかりで、変更がすぐにここに表示されなくても心配しないでください。Googleは、robots.txtファイルの新しいバージョンを1日に1回程度自動的にチェックします。

後でこのレポートを確認して、Googleが最新の変更を認識し、すべてが正常であることを確認できます。

サイトの大規模な変更後、たとえば、公開ディレクトリを作成する新しいプラグインをインストールした後、パーマリンク構造を変更した後、またはステージングサイトを本番環境に移行した後など、robots.txtファイルを再確認することも価値があります。

毎回このレポートで簡単に確認することで、重要なものが誤ってブロックされないようにします。

最終的な考え

robots.txtファイルを最適化する目標は、公開されていないページを検索エンジンがクロールしないようにすることです。たとえば、wp-pluginsフォルダ内のページやWordPress管理フォルダ内のページなどです。

SEO専門家の間では、WordPressのカテゴリ、タグ、アーカイブページをブロックすると、クロール率が向上し、インデックス作成が速くなり、ランキングが向上するという一般的な誤解があります。

これは真実ではありません。実際、この方法はGoogleによって強く推奨されておらず、サイトの理解を助けるためのベストプラクティスガイドラインに反しています。

robots.txtファイルをウェブサイト用に作成するために、上記のrobots.txt形式に従うことをお勧めします。

WordPressのrobots.txtに関するよくある質問

WordPressでrobots.txtファイルを最適化することについて、よく寄せられる質問をいくつかご紹介します。

1. robots.txtファイルの主な目的は何ですか？

robots.txtファイルの主な目的は、ウェブサイトのクロールバジェットを管理することです。検索エンジンに無視するページ（管理ページやプラグインファイルなど）を伝えることで、最も重要なコンテンツをより効率的にクロールおよびインデックス化するためにリソースを費やすことができます。

2. WordPressではrobots.txtファイルはどこにありますか？

robots.txtファイルは、ウェブサイトのルートディレクトリにあります。通常、ウェブブラウザでyourdomain.com/robots.txtにアクセスすると表示できます。

3. robots.txtを使用すると、サイトのセキュリティを向上させることができますか？

いいえ、robots.txt はセキュリティ対策ではありません。このファイルは公開されており、リストされた URL へのアクセスを実際にブロックするものではありません。単に、礼儀正しい検索エンジンのクローラーへの指示を提供するだけです。

4. WordPress のカテゴリページとタグページを robots.txt でブロックすべきですか？

いいえ、カテゴリページとタグページをブロックすべきではありません。これらのアーカイブページは、サイトの構造を検索エンジンが理解し、コンテンツを発見するのに役立つため、SEO にとって有用です。これらをブロックすると、検索ランキングに悪影響を与える可能性があります。

5. robots.txtとnoindexタグの違いは何ですか？

これらは異なるものを制御します。robots.txtは、クローラーがURLにアクセスできるかどうかを制御します。noindexタグは、検索エンジンがすでにアクセスした場合でも、検索結果にページをリストするかどうかを制御します。

robots.txtを使用して、管理パネル、ステージング環境、またはプラグインディレクトリのような領域へのクローラーのアクセスをブロックします。noindexは、検索結果に表示させたくないが、Googleがクロールしても構わないページ（フィルタリングされたアーカイブページやサンキューページなど）に使用します。

重要な注意点：robots.txtでURLをブロックしても、すでにインデックスされている場合はGoogleのインデックスから削除されません。削除するには、noindexタグが適切なツールです。

WordPressでrobots.txtを使用するための追加リソース

robots.txt ファイルの最適化方法がわかったところで、WordPress で robots.txt を使用することに関連する他の記事もご覧になりたいかもしれません。

この記事がWordPressのrobots.txtファイルをSEOのために最適化する方法を学ぶのに役立ったことを願っています。また、究極のWordPress SEOガイドや、ウェブサイトを成長させるための最高のWordPress SEOツールに関する専門家のおすすめもご覧ください。

この記事が気に入った場合は、WordPressのビデオチュートリアルのために、YouTubeチャンネルを購読してください。また、TwitterやFacebookでも私たちを見つけることができます。

WPBeginnerで現在人気があります！

開示: 当社のコンテンツは読者によってサポートされています。これは、一部のリンクをクリックすると、手数料が発生する可能性があることを意味します。WPBeginnerがどのように資金調達されているか、なぜそれが重要なのか、そしてどのように私たちをサポートできるかを確認してください。こちらが当社の編集プロセスです。

究極のWordPressツールキット

無料のツールキットにアクセスしましょう - すべてのプロフェッショナルが持つべきWordPress関連の製品とリソースのコレクションです！

今すぐダウンロード

読者とのインタラクション

133 コメント返信する

  1. AIOSEOプラグインを使っているのですが、何かを壊したくなかったので、「カスタムrobots.txtを有効にする」オプションは常に無視していました。しかし、この記事を読んで、サイトのrobots.txtファイルを最適化する時間をかける価値があることを確信しました。

    返信する

  3. robots.txtファイルに関するこの有益な投稿をありがとうございます。 ウェブサイトがGoogleボットのクロール方法を制御するためにこのファイルを維持する必要があることを知りませんでした。 始めたばかりの初心者向けウェブサイトでは、robots.txtファイルは必要ですか、それともウェブサイトのrobots.txtファイルを作成できるプラグインのような方法はありますか？

    返信する

    • ほとんどのSEOプラグインは、新しいサイトのrobots.txtの設定を支援し、ボットが本来アクセスすべきでないセクションをクロールするのを防ぎます。

      返信する

      管理者

  4. この記事のおかげで、robots.txt ファイルを確認し、サイトマップ付きの URL アドレスを追加しました。同時に、バリデーターによって明らかになった他の問題のある行もありました。これまで robots.txt のサイトマップについては知りませんでした。ありがとうございます。

    返信する

  5. こんにちは、

    その投稿、ありがとうございます。robots.txtファイルの使い方がより明確になりました。robots.txtファイルに関するアドバイスを探していると見つかるほとんどのウェブサイトで、WordPressの場合、以下のフォルダがクロールから明示的に除外されていることがわかります：
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes

    これらのフォルダを除外する理由がよくわかりません（実際にはありますか？）。この件について、あなたの見解はいかがですか？

    返信する

    • これは主に、ユーザーがあなたのサイトを検索したときに、それらのフォルダ内のものが結果として表示されるのを防ぐためです。それはあなたのコンテンツではないため、ほとんどの人がサイトの結果に表示させたいとは思わないでしょう。

      返信する

      管理者

  6. Disallow: /wp-admin/
    Allow: /wp-admin/admin-ajax.php

    GSCは「Disallow: /wp-admin/」のカバレッジエラーを表示しています。これは間違っていますか？

    返信する

    • ほとんどのサイトでは、wp-adminから検索結果に表示させたくないため、wp-adminのスキャンを拒否した場合にカバレッジエリアを受け取るのは問題なく、予想されることです。

      返信する

      管理者

  7. WordPressサイトのために、指示通りrobots.txtを手動で作成しています。

    1つ疑問があります。User-Agent: *と書くと、他のスパムボットも私のサイトにアクセスできるようになりませんか？
    User-Agent: *と書くべきか、User-Agent: Googlebotと書くべきでしょうか？

    返信する

    • User-Agent行は、サイト上のすべてのロボットが従うべきルールを設定しています。その行に特定のボットを指定すると、その特定のボットのルールが設定され、他のボットには適用されません。

      返信する

      管理者

  9. /wp-content/themes/ も禁止すべきですか？

    google検索で site:abcdef.com コマンドを実行すると、検索結果に表示されます。

    返信する

    • テーマフォルダをブロックすることを心配する必要はありません。SEOフレンドリーなコンテンツを作成すれば、テーマが検索結果に表示されることはなくなるはずです。

      返信する

      管理者

    • これは、検索エンジンに参照リンクや readme.html ファイルを見ないように指示していることを意味します。

      返信する

      管理者

    • アップロードフォルダをブロックすると、検索エンジンは通常、画像などのアップロードされたコンテンツをクロールしません。

      返信する

      管理者

  13. ロボット.txtについて非常に混乱しています。ブロガーにサイトマップを何度も送信しましたが、3、4日後に同じ問題が発生します。ロボット.txtとは何ですか？そして、それをどのように送信すればよいですか？教えてください。

    返信する

  14. robots.txt ファイルを使用して URL またはページをインデックスしないようにした場合、Google は Search Console でエラーを表示しますか？

    返信する

  15. こんにちは
    質問があります
    Googleサーチコンソールのカバレッジの問題で、robots.txtによってブロックされているという警告を受け取りました
    /wp-admin/widgets.php
    私の質問は、wp-admin/widgets.phpをrobots.txtで許可しても安全かどうかということです。

    返信する

  17. こんにちは！この記事は本当に気に入りました。クロールに関するすべてが初心者なので、この件について質問させてください。最近、Googleが私のウェブサイトの1つをひどい方法でクロールおよびインデックス化し、削除されたページが検索結果に表示されています。当初、WordPressの設定で検索エンジンのインデックス作成をブロックしていませんでしたが、Googleがさらに3つのページ（これらのページも存在しません）を検索結果に表示した後、ブロックしました。そして、「検索エンジンのインデックス作成をブロックする」オプションがオンになっているのに、これがどのように起こりうるのか本当に理解できません。それで、Yoastの方法は役立ち、Googleが今回適切に私のウェブサイトをインデックス化するように私のウェブサイトの解決策になりますか？よろしくお願いします！

    返信する

    • Yoastプラグインは、サイトのページが適切にインデックスされていることを確認するのに役立つはずです。検索エンジンがサイトのクロールをブロックする前に、ページがキャッシュされていた可能性があります。

      返信する

      管理者

      • はい、そしてすべてのページから、もう存在しないものをキャッシュしました。いずれにせよ、現在のページは「discourage」設定になっているので、このままにしておく方が良いですか、それともチェックを外して、Yoastの助けを借りてGoogleに再度クロールしてインデックスに登録させる方が良いですか？ありがとうございます！あなたの記事のおかげで、すべてが簡単になりました！

        返信する

  18. こんにちは、記事はとても正確で完璧で大好きでした。
    ちょっとした提案ですが、Googleコンソールが変更されたため、画像ROBOTS.TXTテスターを更新していただけると幸いです。また、Googleからrobots.txtを確認するためのリンクを追加していただけると素晴らしいです。

    返信する

  19. 私のブログのrobots.txtファイルは次のとおりでした：
    User-Agent: *
    crawl-delay: 10

    この投稿を読んだ後、推奨されるrobots.txtファイルに変更しました。crawl-delayを削除しても大丈夫ですか

    返信する

  20. ロボット.textについて、とても分かりやすく説明していただき、大変満足しています。 あなたはとても良いライターです。

    返信する

    • 当社では、ウェブサイト上のさまざまなアフィリエイトリンクにリダイレクトするために/refer/を使用しています。これらは単なるリダイレクトであり、実際のコンテンツではないため、インデックス作成したくありません。

      返信する

      管理者

  22. 共有いただきありがとうございます。これは、robots.txtを理解する上で非常に役立ちました。
    ご提案いただいた理想的なものにrobots.txtを更新しました。これで結果を待ちます。

    返信する

  25. 更新情報ありがとうございます。Robot txtファイルに関する記事は参考になりました。新しい情報を得ることができました。ありがとうございます。新しいアイデアがあれば、引き続き教えてください。

    返信する

  28. 私のWordPressサイトは新しく、デフォルトのrobots.txtは以下のようになっています：
    user-agent: *
    Disallow: /wp-admin/
    Allow: /wp-admin/admin-ajax.php

    Googleに私のコンテンツをクロールおよびインデックスしてもらいたいのですが、このrobots.txtで大丈夫ですか？

    返信する

  29. 素晴らしい記事です…

    長い間、Robots.txt ファイルと Disallow リンクについて混乱していました。robots ファイル用のタグをコピーしました。これで私のサイトの問題が解決することを願っています。

    返信する

  30. ホームフォルダのスクリーンショットにあるファイルは、実際には私のホームフォルダの下のpublic_htmlフォルダ内にあります。

    public_html フォルダの下に /refer フォルダがありませんでした。

    WPアカウントのどこにも投稿またはページのXMLファイルがありませんでした。

    作成したrobots.txtファイルに、サンドボックスサイトのクロールを拒否するエントリを含めました。WPでサンドボックスサイトをクロールしないようにクローラーに指示するオプションをすでに選択しているので、これは必要ないかもしれませんが、エントリがあっても害はないと思います。

    返信する

    • 一部のホストではpublic_htmlをhomeにリネームするため、そこに表示されます。XMLファイルを利用できるようにするには、Yoastがアクティブであることを確認してください。この記事の方法は、サイトのクロールを防ぐのに役立つ追加の予防策です:)

      返信する

      管理者

  33. User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php <– これが私のrobot.txtコードですが、なぜ私の/wp-adminがインデックスされるのか混乱しています。どのようにインデックスしないようにすればよいですか？

    返信する

    • 以前にインデックス登録された場合、検索エンジンのキャッシュがクリアされるまで時間がかかる場合があります

      返信する

      管理者

  34. このウェブサイトは、ブログを始める上で本当に刺激になります。多くのチームに感謝します。このウェブサイトの各記事には、豊富な情報と説明があります。何か問題が発生した場合、まずこのブログを訪れます。ありがとうございます。

    返信する

  35. Yoastを使用してウェブサイトのロボットを最適化しようとしています。しかし、Yoastのツールには「ファイルエディター」のオプションがありません。
    オプションは2つしかありません。
    (i) インポートとエクスポート
    (ii) 一括エディター
    この問題にどのように対処できるかアドバイスいただけますでしょうか。もしかして、Yoastの無料版を使用していますか？

    返信する

    • Yoastの無料バージョンにはまだオプションがあります。インストールでファイル編集が無効になっている可能性があります。その場合は、FTPメソッドを使用する必要があるでしょう。

      返信する

      管理者

  36. robot.txt がどのように機能するかあまり知らなかったので、この記事は本当に役に立ちました。今ではわかっています。

    サイトで一般的に機能するrobots.txtの最適な形式をどのように見つけるのか理解できません。

    チェックしている多くの有名なブログが検索エンジンで上位表示されているのを見ると、異なるrobot.txt形式を使用していることに気づきました。

    あなたからの返信、または助けてくれる誰かからの返信を楽しみにしています。

    返信する

    • サイトマップを作成し、許可する必要のある領域を許可することが最も重要です。禁止する部分はサイトごとに異なります。ブログ記事でサンプルを共有しましたが、ほとんどのWordPressサイトでこれで十分でしょう。

      返信する

      管理者

    • Emmanuel さん、こんにちは。

      理想的なrobots.txtファイルに関するセクションを参照してください。それはあなたの要件によります。ほとんどのブロガーは、WordPressの管理フォルダとプラグインフォルダをクロールから除外します。

      返信する

      管理者

  37. よく書かれた記事です。ユーザーには、ROBOTSテキストを作成して有効にする前にサイトマップを作成することをお勧めします。これにより、サイトのクロールが速くなり、インデックスが容易になります。

    ジャック

    返信する

  40. Google ウェブマスターで以下のエラーメッセージが表示され続けます。基本的に行き詰まっています。このチュートリアルで不明だった点がいくつかあります。サイトのルートファイルはどこで見つけられますか？「robots.txt」がすでに存在するかどうかをどのように判断しますか？また、どのように編集しますか？

    返信する

    • Cherisaさん、こんにちは。

      サイトのルートフォルダとは、wp-admin、wp-includes、wp-content などのフォルダが含まれるフォルダのことです。また、wp-config.php、wp-cron.php、wp-blogheader.php などのファイルも含まれます。

      このフォルダにrobots.txtファイルが見つからない場合は、ファイルが存在しないということです。新しいファイルを作成しても構いません。

      返信する

      管理者

      • ご返信ありがとうございます。説明されているルートファイルを見つけることができませんでした。設定などの下に、このフォルダにつながるパスディレクトリはありますか？

        返信する

  41. ウェブサイトへのトラフィックは順調でしたが、5月に入って突然ゼロになりました。現在もこの問題に直面しています。ウェブサイトを復旧するために助けてください。

    返信する

  42. こんにちは。この情報ありがとうございます。しかし、質問があります。
    Sitemap.xmlとRobots.txtファイルを作成したばかりで、正常にクロールされています。しかし、「Product-Sitemap.xml」をどのように作成できますか？
    Sitemap.xmlファイルにはすべての製品リストがあります。Product-sitemap.xmlを別途作成する必要がありますか？

    GoogleまたはBingに再度送信しますか？
    手伝っていただけませんか…
    ありがとうございます

    返信する

  43. robots.txtファイルの設定で問題が発生しています。すべてのウェブサイトでrobots.txtが1つしか表示されません。すべてのウェブサイトのrobots.txtファイルを個別に表示できるようにしてください。個々のウェブサイトごとにrobots.txtファイルをすべて個別に持っています。しかし、ブラウザにはすべてのウェブサイトに対してrobots.txtファイルが1つしか表示されません。

    返信する

  44. 初心者向けRobots.txtの例に
    Disallow: /refer/
    を含めた理由を説明してください。この行の意味が理解できません。これは初心者にとって重要ですか？他の2つのDisallowedについては説明されています。

    ありがとう。

    返信する

  45. すべてのタグ/mydomain.Comをnofollowにするにはどうすればよいですか？リンクジュースを集中させるためにrobots.txtで？ありがとう。

    返信する

  46. こんにちは、Yoast SEOでサイトマップに関するエラーが出ています。修正をクリックすると、また元に戻ってしまいます。サイトのHTMLが正しく読み込まれていません。

    返信する

  47. Google Search Consoleのアカウントを確認したところ、以下の問題が見つかりました。
    ページの一部が読み込まれていません
    ページのすべてのリソースを読み込めませんでした。これは、Googleがページをどのように認識し、理解するかに影響を与える可能性があります。Googleがページをどのように理解するかに影響を与える可能性のあるリソースの可用性の問題を修正してください。

    これは、プラグインに関連するすべてのCSSスタイルシートが、デフォルトのrobots.txtによって禁止されているためです。

    これを許可しない方が良い理由を理解していますが、Googleのアルゴリズムがサイトを低く評価しているのではないかと疑われる場合、代替手段は何になりますか？

    返信する

  48. こんにちは、

    Googleで私のサイトを検索すると、リンクの下に次のテキストが表示されます。「このサイトのrobots.txtのため、この結果の説明は利用できません。」

    この問題をどのように解決できますか？

    よろしくお願いいたします

    返信する

    • Surenさん、こんにちは。

      サイトのプライバシー設定が誤って変更されたようです。「設定 » 表示設定」ページに移動し、「検索エンジンの可視性」セクションまでスクロールしてください。の横にあるチェックボックスがオフになっていることを確認してください。

      返信する

      管理者

  49. こんにちは

    ウェブマスターツールで見たところ、以下のような robot.txt ファイルがありました。

    User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php

    これで大丈夫ですか？それとも何か他のものを使うべきですか？

    返信する

  50. 「/wp-content/plugins/」をrobots.txtでブロック（無効化）するのは良い考えですか？ プラグインを削除するたびに、そのプラグインの一部のページで404エラーが表示されます。

    返信する

返信する

コメントいただきありがとうございます。すべてのコメントは、コメントポリシーに従ってモデレーションされ、メールアドレスは公開されません。名前フィールドにキーワードを使用しないでください。個人的で意味のある会話をしましょう。

Copyright © 2009 - 2026 WPBeginner LLC. All Rights Reserved. WPBeginner® は登録商標です。

管理元：Awesome Motive | SiteGroundによるWordPressホスティング

WordPress® の商標は WordPress Foundation の知的財産です。このウェブサイトでの WordPress® およびその名称の使用は、識別目的のみであり、WordPress Foundation による承認を意味するものではありません。WPBeginner は WordPress Foundation によって承認、所有、または提携されていません。

私は…について助けが必要です

人気の検索:

ブログの始め方 WordPress SEO WordPressのパフォーマンス WordPressのエラー WordPressセキュリティ オンラインストアの構築