WordPress サイトには既に robots.txt ファイルがあり、あなたがそれに触れたことがあるかどうかに関わらず、検索エンジンのクローラーが何にアクセスできるかを決定しています。
これらの決定のほとんどは無害です。しかし、一つでも不適切なルールを選択すると、クローラーが実際に発見してほしい URL から遠ざけてしまう可能性があります。
このガイドでは、robots.txt ファイルが現在何を行っているのか、コードに触れることなく編集する方法を説明します。
このガイドで説明する内容は以下のとおりです。
robots.txtファイルとは何ですか？
Robots.txt は、サイトのどの部分をクロールできるかを検索エンジンボットに伝えるプレーンテキストファイルです。
このファイルは、ウェブサイトのルートディレクトリ（メインフォルダ）にあります。基本的な形式は次のようになります。
User-agent: [user-agent name]
Disallow: [URL string not to be crawled]
User-agent: [user-agent name]
Allow: [URL string to be crawled]
Sitemap: [URL of your XML Sitemap]
必要に応じて、ルールやサイトマップをいくつでも追加できます。URL を disallow しない場合、ボットはそれをクロールできると想定します。
ブログを開始したばかりの頃は、robots.txt ファイルがなくてもサイトは正常に機能します。しかし、コンテンツが増えるにつれて、このファイルはより役立つものになります。
検索エンジンは、各ウェブサイトにクロールバジェットを与えます。これは、指定された期間内にクロールするページの数です。重要でないページをブロックすることで、ボットが検索結果に表示したいコンテンツにそのバジェットを費やすのを助けることができます。
これは、数千ページを持つ大規模なサイトで最も重要です。
robots.txt はクロールを制御するのに役立ちますが、インデックス作成を制御するものではないことを覚えておいてください。
- クロールとは、検索エンジンボット（Googlebot など）がコンテンツを発見するためにウェブサイトを訪問することです。
- インデックス作成とは、そのコンテンツを巨大な検索データベースに追加して、検索結果に表示できるようにすることです。
図書館員が新しい本を読んでいる（クロール）そしてそれを図書館のカタログに追加している（インデックス作成）と考えてください。
つまり、robots.txt はコンテンツを非表示にするための良い方法でもありません。なぜなら、他のウェブサイトがリンクしている場合、disallow されたページでも検索結果に表示される可能性があるからです。確実にページを Google から除外するには、代わりに「noindex」メタタグを使用してください。これにより、検索エンジンはそのページを一切リストしないように指示されます。
Robots.txt の例とベストプラクティス
ほとんどの WordPress サイトでは、robots.txt ファイルをかなりシンプルに保つことができます。推奨する基本的な設定は次のとおりです。
User-Agent: *
Allow: /wp-content/uploads/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
Disallow: /?s=
Sitemap: https://www.example.com/post-sitemap.xml
Sitemap: https://www.example.com/page-sitemap.xml
各ルールが何をするかを示します。
Allow: /wp-content/uploads/は、検索エンジンが WordPress メディアライブラリにアップロードされた画像やその他のファイルをクロールできるようにします。Allow: /wp-admin/admin-ajax.phpは、WordPress の AJAX ハンドラーにアクセスできるようにします。テーマやプラグインは、ページを更新せずにコンテンツを読み込んだり更新したりするためにこのファイルを使用する場合があります。Disallow: /wp-admin/は、検索結果に表示したいコンテンツが含まれていない WordPress 管理エリアへのクローラーのアクセスを防ぎます。Disallow: /readme.htmlは、WordPress のデフォルトのreadme.htmlファイルへのクローラーのアクセスを防ぎます。このファイルは検索エンジンにとって有用ではないため、クローラーがアクセスする理由はほとんどありません。Disallow: /refer/は、/refer/プレフィックスを使用するアフィリエイトまたはその他のリダイレクト URL をたどるクローラーを防ぎます。サイトでこれらのリンクに別のプレフィックスを使用している場合は、/refer/を独自のプレフィックスに置き換えてください。Disallow: /?s=は、WordPress の内部検索 URL のリクエストをクローラーから防ぎます。これらのページは一般的に検索エンジンにとって有用なランディングページではなく、クロールする多数の不要な URL を作成する可能性があります。Sitemapは、XMLサイトマップの場所を検索エンジンに伝えます。これにより、クロールさせたいURLを検索エンジンが見つけやすくなります。
これらは、WPBeginnerで使用しているものと同じ基本的なルールの種類です。ライブファイルはwpbeginner.com/robots.txtで確認できます。本番ファイルには、はるかに大きなサイト用の追加ルールが含まれていますが、基本的な原則は同じです。
ワイルドカード*を使用すると、すべてのクローラーに適用されることに注意してください。
たとえば、このルールはGooglebotが/private/フォルダをクロールするのをブロックします。
User-agent: Googlebot
Disallow: /private/
一般的なユーザーエージェント名には、Googlebot（Google）、Bingbot（Bing）、Baiduspider（Baidu）などがあります。
WordPress で Robots.txt ファイルを作成する方法
WordPressでrobots.txtファイルを作成するには2つの方法があります。あなたに最適な方法を選択できます。
All in One SEO を使用して robots.txt ファイルを編集する方法 1
All in One SEO（AIOSEO）、Yoast、Rank Mathなどのほとんどの 無料WordPress SEOプラグインでは、WordPressダッシュボードから直接robots.txtファイルをカスタマイズできます。
WPBeginnerではAIOSEOを使用しています。AIOSEOの無料版は、入力中にrobots.txtルールを検証するのに役立ち、公開前に構文エラーを検出できます。
プラグインがアクティブになったら、WordPressダッシュボードのAll in One SEO » Toolsに移動するだけです。Robots.txt Editorが表示されます。「カスタムRobots.txtを有効にする」トグルをオンにして編集を開始します。
エディターには、WordPressが独自に生成するデフォルトのルールが表示されます。
ここで独自のルールを追加できます。「User Agent」フィールドにユーザーエージェントを入力するか、*を使用してすべてのボットにルールを適用します。
次に、Directive列で「Allow」または「Disallow」を選択し、「Value」フィールドにファイルまたはフォルダパスを入力します。別のルールを追加するには、「Add Rule」ボタンをクリックします。
最終的なファイルは、画面下部にある「Custom Robots.txt Preview」で確認できます。ボットが見るであろう完全なファイルがそのまま表示されます。
完了したら、「Save Changes」ボタンをクリックしてルールを保存します。
方法2：FTPを使用してRobots.txtファイルを直接編集する
robots.txtファイルを直接編集したい場合は、この方法に従ってください。ファイルを編集するには、FTPクライアントを使用するか、WordPressホスティングパネルのファイルマネージャーを使用する必要があります。
何かを編集する前に、現在のrobots.txtファイルのバックアップコピーをコンピューターにダウンロードしてください。これにより、問題が発生した場合に復元できます。
まず、FTPクライアントをWordPressウェブサイトに接続し、ウェブサイトのルートフォルダにあるrobots.txtファイルを見つけます。
表示されない場合は、サイトにrobots.txtファイルがまだありません。そこに作成できます。
Robots.txtはプレーンテキストファイルです。ダウンロードして、NotepadやTextEditなどの任意のプレーンテキストエディターで編集し、ルートフォルダに再度アップロードできます。
Robots.txt ファイルをテストする方法
robots.txtファイルを作成または編集した後、常にエラーがないか確認してください。小さなタイポでも重要なページが検索エンジンからブロックされる可能性があり、数週間気づかないかもしれません。
エラーがないかrobots.txtファイルをテストする最も簡単な方法は、 Google Search Consoleを使用することです。
まず、サイトがGoogle Search Consoleに接続されていることを確認してください。接続されていない場合は、WordPressサイトをGoogle Search Consoleに追加する方法のガイドに従ってください。
次に、Search Consoleダッシュボードに移動し、左下のメニューから設定を開きます。「クロール」セクションを見つけ、「robots.txt」の横にある「レポートを開く」をクリックします。
リスト内のファイルの現在のバージョンをクリックします。レポートには、Googleが見つけた最新のrobots.txtが表示され、検出された構文エラーや論理的な問題が強調表示されます。
ファイルを更新したばかりで変更が表示されない場合は、1日待ってから再度確認してください。
WordPressのrobots.txtに関するよくある質問
ここでは、読者がWordPressのrobots.txtファイルを最適化することについてよく尋ねる質問をいくつか紹介します。
1. robots.txtを使用すると、サイトのセキュリティを向上させることができますか？
いいえ、robots.txt はセキュリティ対策ではありません。このファイルは公開されており、リストされた URL へのアクセスを実際にブロックするものではありません。単に、礼儀正しい検索エンジンのクローラーへの指示を提供するだけです。
2. robots.txtでWordPressのカテゴリページとタグページをブロックする必要がありますか？
いいえ、カテゴリページとタグページをブロックしないでください。これらのアーカイブページには、クローラーが古い投稿に到達するためにたどる内部リンクが含まれているため、ブロックすると、インデックス作成したいコンテンツへの発見パスが削除されます。
3. robots.txtとnoindexタグの違いは何ですか？
これらは異なるものを制御します。robots.txtは、クローラーがURLをまったく訪問できるかどうかを制御します。noindexタグは、検索エンジンがすでに訪問したとしても、検索結果にページをリストするかどうかを制御します。
robots.txtを使用して、管理パネル、ステージング環境、またはプラグインディレクトリのような領域へのクローラーのアクセスをブロックします。noindexは、検索結果に表示させたくないが、Googleがクロールしても構わないページ（フィルタリングされたアーカイブページやサンキューページなど）に使用します。
この記事がWordPressのrobots.txtファイルをSEOのために最適化する方法を学ぶのに役立ったことを願っています。また、究極のWordPress SEOガイドや、ウェブサイトを成長させるための最高のWordPress SEOツールに関する専門家のおすすめもご覧ください。
この記事が気に入った場合は、WordPressのビデオチュートリアルのために、YouTubeチャンネルを購読してください。また、TwitterやFacebookでも私たちを見つけることができます。
デニス・ムトミ
AIOSEOプラグインを使っているのですが、何かを壊したくなかったので、「カスタムrobots.txtを有効にする」オプションは常に無視していました。しかし、この記事を読んで、サイトのrobots.txtファイルを最適化する時間をかける価値があることを確信しました。
アミット・バナジー
robots.txtのテンプレート全体が提供されていれば、役に立ったでしょう。
WPBeginnerサポート
robots.txt全体を含めました
管理者
マイケル
回答を修正した方が良いと思います。httpではなくhttpsであるべきです。プラグインファイルもdisallowするのは正しいですか？
WPBeginnerサポート
ご指摘ありがとうございます。サンプルを更新しました。プラグインを拒否する場合は、安全のために特定のプラグインを確認してください。
モイヌディン・ワヒード
robots.txtファイルに関するこの有益な投稿をありがとうございます。 ウェブサイトがGoogleボットのクロール方法を制御するためにこのファイルを維持する必要があることを知りませんでした。 始めたばかりの初心者向けウェブサイトでは、robots.txtファイルは必要ですか、それともウェブサイトのrobots.txtファイルを作成できるプラグインのような方法はありますか？
WPBeginnerサポート
ほとんどのSEOプラグインは、新しいサイトのrobots.txtの設定を支援し、ボットが本来アクセスすべきでないセクションをクロールするのを防ぎます。
管理者
イジー・ヴァネック
この記事のおかげで、robots.txt ファイルを確認し、サイトマップ付きの URL アドレスを追加しました。同時に、バリデーターによって明らかになった他の問題のある行もありました。これまで robots.txt のサイトマップについては知りませんでした。ありがとうございます。
WPBeginnerサポート
どういたしまして、ガイドがお役に立てて嬉しいです！
管理者
ステファン
こんにちは、
その投稿、ありがとうございます。robots.txtファイルの使い方がより明確になりました。robots.txtファイルに関するアドバイスを探していると見つかるほとんどのウェブサイトで、WordPressの場合、以下のフォルダがクロールから明示的に除外されていることがわかります：
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
これらのフォルダを除外する理由がよくわかりません（実際にはありますか？）。この件について、あなたの見解はいかがですか？
WPBeginnerサポート
これは主に、ユーザーがあなたのサイトを検索したときに、それらのフォルダ内のものが結果として表示されるのを防ぐためです。それはあなたのコンテンツではないため、ほとんどの人がサイトの結果に表示させたいとは思わないでしょう。
管理者
ザイド・ハリス
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
GSCは「Disallow: /wp-admin/」のカバレッジエラーを表示しています。これは間違っていますか？
WPBeginnerサポート
ほとんどのサイトでは、wp-adminから検索結果に表示させたくないため、wp-adminのスキャンを拒否した場合にカバレッジエリアを受け取るのは問題なく、予想されることです。
管理者
ハンシニ
WordPressサイトのために、指示通りrobots.txtを手動で作成しています。
1つ疑問があります。User-Agent: *と書くと、他のスパムボットも私のサイトにアクセスできるようになりませんか？
User-Agent: *と書くべきか、User-Agent: Googlebotと書くべきでしょうか？
WPBeginnerサポート
User-Agent行は、サイト上のすべてのロボットが従うべきルールを設定しています。その行に特定のボットを指定すると、その特定のボットのルールが設定され、他のボットには適用されません。
管理者
ニシャント
Googleに私の投稿をインデックスさせるには、何を記述すればよいですか？
WPBeginnerサポート
サイトをリストに載せるには、以下の記事をご覧ください。
https://www.wpbeginner.com/beginners-guide/how-do-i-get-my-wordpress-site-listed-on-google-beginners-guide/
管理者
サンジーブ・パンデイ
/wp-content/themes/ も禁止すべきですか？
google検索で site:abcdef.com コマンドを実行すると、検索結果に表示されます。
WPBeginnerサポート
テーマフォルダをブロックすることを心配する必要はありません。SEOフレンドリーなコンテンツを作成すれば、テーマが検索結果に表示されることはなくなるはずです。
管理者
サレム
こんにちは、「Disallow: /readme.html & Disallow: /refer/ 」はどういう意味ですか？
WPBeginnerサポート
これは、検索エンジンに参照リンクや readme.html ファイルを見ないように指示していることを意味します。
管理者
ショーン
こんにちは、wp-content/uploadsをブロックすることのメリット・デメリットは何ですか
ありがとうございます
WPBeginnerサポート
アップロードフォルダをブロックすると、検索エンジンは通常、画像などのアップロードされたコンテンツをクロールしません。
管理者
ピユシュ
問題を解決してくれてありがとう
WPBeginnerサポート
どういたしまして
管理者
ラビ・クマール
ロボット.txtについて非常に混乱しています。ブロガーにサイトマップを何度も送信しましたが、3、4日後に同じ問題が発生します。ロボット.txtとは何ですか？そして、それをどのように送信すればよいですか？教えてください。
WPBeginnerサポート
お客様の具体的な問題によりますが、以下のページをご覧ください。
https://www.wpbeginner.com/glossary/robots-txt/
管理者
プレム
robots.txt ファイルを使用して URL またはページをインデックスしないようにした場合、Google は Search Console でエラーを表示しますか？
WPBeginnerサポート
いいえ、Googleはページをリストしませんが、ページがリストされている場合はエラーは表示されません。
管理者
バーラト
こんにちは
質問があります
Googleサーチコンソールのカバレッジの問題で、robots.txtによってブロックされているという警告を受け取りました
/wp-admin/widgets.php
私の質問は、wp-admin/widgets.phpをrobots.txtで許可しても安全かどうかということです。
WPBeginnerサポート
もし望むならできますが、Googleがクロールする必要のあるファイルではありません。
管理者
アンソニー
こんにちは、/wp-admin/admin-ajax.php? を許可すべきかどうか疑問に思っています。
WPBeginnerサポート
通常は、そうすべきです。
管理者
ジャイラ
なぜ/wp-admin/admin-ajax.phpを許可する必要があるのか教えていただけますか？
WPBeginnerサポート
これは、検索エンジンで正しく表示するために、さまざまなテーマやプラグインによって使用されます。
アミラ
こんにちは！この記事は本当に気に入りました。クロールに関するすべてが初心者なので、この件について質問させてください。最近、Googleが私のウェブサイトの1つをひどい方法でクロールおよびインデックス化し、削除されたページが検索結果に表示されています。当初、WordPressの設定で検索エンジンのインデックス作成をブロックしていませんでしたが、Googleがさらに3つのページ（これらのページも存在しません）を検索結果に表示した後、ブロックしました。そして、「検索エンジンのインデックス作成をブロックする」オプションがオンになっているのに、これがどのように起こりうるのか本当に理解できません。それで、Yoastの方法は役立ち、Googleが今回適切に私のウェブサイトをインデックス化するように私のウェブサイトの解決策になりますか？よろしくお願いします！
WPBeginnerサポート
Yoastプラグインは、サイトのページが適切にインデックスされていることを確認するのに役立つはずです。検索エンジンがサイトのクロールをブロックする前に、ページがキャッシュされていた可能性があります。
管理者
アミラ
はい、そしてすべてのページから、もう存在しないものをキャッシュしました。いずれにせよ、現在のページは「discourage」設定になっているので、このままにしておく方が良いですか、それともチェックを外して、Yoastの助けを借りてGoogleに再度クロールしてインデックスに登録させる方が良いですか？ありがとうございます！あなたの記事のおかげで、すべてが簡単になりました！
WPBeginnerサポート
設定が完了したら、Googleにサイトを再クロールさせたいと思うでしょう。
プラドゥマン・クマール
こんにちは、記事はとても正確で完璧で大好きでした。
ちょっとした提案ですが、Googleコンソールが変更されたため、画像ROBOTS.TXTテスターを更新していただけると幸いです。また、Googleからrobots.txtを確認するためのリンクを追加していただけると素晴らしいです。
WPBeginnerサポート
フィードバックありがとうございます。可能な限り早く記事を更新するよう確認いたします。
管理者
カマルジート・シン
私のブログのrobots.txtファイルは次のとおりでした：
User-Agent: *
crawl-delay: 10
この投稿を読んだ後、推奨されるrobots.txtファイルに変更しました。crawl-delayを削除しても大丈夫ですか
WPBeginnerサポート
問題ありません。crawl-delayは、検索エンジンにサイトのクロール速度を遅くするように指示します。
管理者
リーナ
ロボット.textについて、とても分かりやすく説明していただき、大変満足しています。 あなたはとても良いライターです。
WPBeginnerサポート
ありがとうございます、当社の記事を気に入っていただけて嬉しいです
管理者
JJ
Disallow: /refer/ ページとは何ですか？ 404エラーが出ますが、これは隠し wp ファイルですか？
編集スタッフ
当社では、ウェブサイト上のさまざまなアフィリエイトリンクにリダイレクトするために/refer/を使用しています。これらは単なるリダイレクトであり、実際のコンテンツではないため、インデックス作成したくありません。
管理者
サガル・アラク
共有いただきありがとうございます。これは、robots.txtを理解する上で非常に役立ちました。
ご提案いただいた理想的なものにrobots.txtを更新しました。これで結果を待ちます。
WPBeginnerサポート
どういたしまして、私たちの推奨事項をご利用いただけて嬉しいです
管理者
アカシュ・ゴゴイ
とても参考になる記事でした。どうもありがとうございます。
WPBeginnerサポート
当社の記事がお役に立てて嬉しいです
管理者
ジンギランサー
私たちに関するこの有用な情報を共有していただきありがとうございます。
WPBeginnerサポート
robots.txtファイルに関するこの情報を共有できて嬉しいです
管理者
Jasper
更新情報ありがとうございます。Robot txtファイルに関する記事は参考になりました。新しい情報を得ることができました。ありがとうございます。新しいアイデアがあれば、引き続き教えてください。
WPBeginnerサポート
当社のガイドがお役に立てて嬉しいです
管理者
イムラン
ありがとうございます。WordPressにrobots.txtを追加しました。非常に良い記事です。
WPBeginnerサポート
ありがとうございます。私たちの記事がお役に立てて嬉しいです
管理者
Steve
これ、ありがとうございます。WP Multisite ではどのように機能しますか？
WPBeginnerサポート
マルチサイトの場合、各サイトのルートフォルダにrobots.txtファイルが必要です。
管理者
Pacifique Ndanyuzwe
私のWordPressサイトは新しく、デフォルトのrobots.txtは以下のようになっています：
user-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Googleに私のコンテンツをクロールおよびインデックスしてもらいたいのですが、このrobots.txtで大丈夫ですか？
WPBeginnerサポート
もちろん、必要であればそれを使用できます
管理者
Ritesh Seth
素晴らしい記事です…
長い間、Robots.txt ファイルと Disallow リンクについて混乱していました。robots ファイル用のタグをコピーしました。これで私のサイトの問題が解決することを願っています。
WPBeginnerサポート
この記事がお役に立てば幸いです
管理者
Kurt
ホームフォルダのスクリーンショットにあるファイルは、実際には私のホームフォルダの下のpublic_htmlフォルダ内にあります。
public_html フォルダの下に /refer フォルダがありませんでした。
WPアカウントのどこにも投稿またはページのXMLファイルがありませんでした。
作成したrobots.txtファイルに、サンドボックスサイトのクロールを拒否するエントリを含めました。WPでサンドボックスサイトをクロールしないようにクローラーに指示するオプションをすでに選択しているので、これは必要ないかもしれませんが、エントリがあっても害はないと思います。
WPBeginnerサポート
一部のホストではpublic_htmlをhomeにリネームするため、そこに表示されます。XMLファイルを利用できるようにするには、Yoastがアクティブであることを確認してください。この記事の方法は、サイトのクロールを防ぐのに役立つ追加の予防策です
管理者
アーメド
素晴らしい記事です
WPBeginnerサポート
ありがとうございます
管理者
ASHOK KUMAR JADON
こんにちは、素晴らしい記事です。私の問題を解決してくれました。本当にありがとうございます。
WPBeginnerサポート
私たちの記事がお役に立てて嬉しいです
管理者
エリン・アシュトン
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php <– これが私のrobot.txtコードですが、なぜ私の/wp-adminがインデックスされるのか混乱しています。どのようにインデックスしないようにすればよいですか？
WPBeginnerサポート
以前にインデックス登録された場合、検索エンジンのキャッシュがクリアされるまで時間がかかる場合があります
管理者
Ashish kumar
このウェブサイトは、ブログを始める上で本当に刺激になります。多くのチームに感謝します。このウェブサイトの各記事には、豊富な情報と説明があります。何か問題が発生した場合、まずこのブログを訪れます。ありがとうございます。
WPBeginnerサポート
私たちの記事がお役に立てて嬉しいです
管理者
アンナ
Yoastを使用してウェブサイトのロボットを最適化しようとしています。しかし、Yoastのツールには「ファイルエディター」のオプションがありません。
オプションは2つしかありません。
(i) インポートとエクスポート
(ii) 一括エディター
この問題にどのように対処できるかアドバイスいただけますでしょうか。もしかして、Yoastの無料版を使用していますか？
WPBeginnerサポート
Yoastの無料バージョンにはまだオプションがあります。インストールでファイル編集が無効になっている可能性があります。その場合は、FTPメソッドを使用する必要があるでしょう。
管理者
Emmanuel Husseni
robot.txt がどのように機能するかあまり知らなかったので、この記事は本当に役に立ちました。今ではわかっています。
サイトで一般的に機能するrobots.txtの最適な形式をどのように見つけるのか理解できません。
チェックしている多くの有名なブログが検索エンジンで上位表示されているのを見ると、異なるrobot.txt形式を使用していることに気づきました。
あなたからの返信、または助けてくれる誰かからの返信を楽しみにしています。
編集スタッフ
サイトマップを作成し、許可する必要のある領域を許可することが最も重要です。禁止する部分はサイトごとに異なります。ブログ記事でサンプルを共有しましたが、ほとんどのWordPressサイトでこれで十分でしょう。
管理者
WPBeginnerサポート
Emmanuel さん、こんにちは。
理想的なrobots.txtファイルに関するセクションを参照してください。それはあなたの要件によります。ほとんどのブロガーは、WordPressの管理フォルダとプラグインフォルダをクロールから除外します。
管理者
Emmanuel Husseni
本当にありがとうございます。
今わかりました。とりあえず一般的な形式から始めようと思います。
ジャック
よく書かれた記事です。ユーザーには、ROBOTSテキストを作成して有効にする前にサイトマップを作成することをお勧めします。これにより、サイトのクロールが速くなり、インデックスが容易になります。
ジャック
Connie S Owens
検索エンジンがクロール中に私のアーカイブをインデックスに登録するのを停止したいです。
エマニュエル・ノニエ
ありがとうございます。この記事は本当に役に立ちました。
Cherisa
Google ウェブマスターで以下のエラーメッセージが表示され続けます。基本的に行き詰まっています。このチュートリアルで不明だった点がいくつかあります。サイトのルートファイルはどこで見つけられますか？「robots.txt」がすでに存在するかどうかをどのように判断しますか？また、どのように編集しますか？
WPBeginnerサポート
Cherisaさん、こんにちは。
サイトのルートフォルダとは、wp-admin、wp-includes、wp-content などのフォルダが含まれるフォルダのことです。また、wp-config.php、wp-cron.php、wp-blogheader.php などのファイルも含まれます。
このフォルダにrobots.txtファイルが見つからない場合は、ファイルが存在しないということです。新しいファイルを作成しても構いません。
管理者
Cherisa
ご返信ありがとうございます。説明されているルートファイルを見つけることができませんでした。設定などの下に、このフォルダにつながるパスディレクトリはありますか？
Devender
ウェブサイトへのトラフィックは順調でしたが、5月に入って突然ゼロになりました。現在もこの問題に直面しています。ウェブサイトを復旧するために助けてください。
ハリス・アスラム
こんにちは。この情報ありがとうございます。しかし、質問があります。
Sitemap.xmlとRobots.txtファイルを作成したばかりで、正常にクロールされています。しかし、「Product-Sitemap.xml」をどのように作成できますか？
Sitemap.xmlファイルにはすべての製品リストがあります。Product-sitemap.xmlを別途作成する必要がありますか？
GoogleまたはBingに再度送信しますか？
手伝っていただけませんか…
ありがとうございます
Mahadi Hassan
robots.txtファイルの設定で問題が発生しています。すべてのウェブサイトでrobots.txtが1つしか表示されません。すべてのウェブサイトのrobots.txtファイルを個別に表示できるようにしてください。個々のウェブサイトごとにrobots.txtファイルをすべて個別に持っています。しかし、ブラウザにはすべてのウェブサイトに対してrobots.txtファイルが1つしか表示されません。
Debu Majumdar
初心者向けRobots.txtの例に
Disallow: /refer/
を含めた理由を説明してください。この行の意味が理解できません。これは初心者にとって重要ですか？他の2つのDisallowedについては説明されています。
ありがとう。
WPBeginnerサポート
Debuさん、こんにちは。
この例はWPBeginnerのrobots.txtファイルからのものです。WPBeginnerでは、ThirstyAffiliatesを使用してアフィリエイトリンクを管理し、URLを偽装しています。これらのURLには「/refer/」が含まれているため、robots.txtファイルでブロックしています。
管理者
エバリスト
すべてのタグ/mydomain.Comをnofollowにするにはどうすればよいですか？リンクジュースを集中させるためにrobots.txtで？ありがとう。
ハルシュ・クマール
こんにちは、Yoast SEOでサイトマップに関するエラーが出ています。修正をクリックすると、また元に戻ってしまいます。サイトのHTMLが正しく読み込まれていません。
トム
Google Search Consoleのアカウントを確認したところ、以下の問題が見つかりました。
ページの一部が読み込まれていません
ページのすべてのリソースを読み込めませんでした。これは、Googleがページをどのように認識し、理解するかに影響を与える可能性があります。Googleがページをどのように理解するかに影響を与える可能性のあるリソースの可用性の問題を修正してください。
これは、プラグインに関連するすべてのCSSスタイルシートが、デフォルトのrobots.txtによって禁止されているためです。
これを許可しない方が良い理由を理解していますが、Googleのアルゴリズムがサイトを低く評価しているのではないかと疑われる場合、代替手段は何になりますか？
スーレン
こんにちは、
Googleで私のサイトを検索すると、リンクの下に次のテキストが表示されます。「このサイトのrobots.txtのため、この結果の説明は利用できません。」
この問題をどのように解決できますか？
よろしくお願いいたします
WPBeginnerサポート
Surenさん、こんにちは。
サイトのプライバシー設定が誤って変更されたようです。「設定 » 表示設定」ページに移動し、「検索エンジンの可視性」セクションまでスクロールしてください。の横にあるチェックボックスがオフになっていることを確認してください。
管理者
ディビエシュ
こんにちは
ウェブマスターツールで見たところ、以下のような robot.txt ファイルがありました。
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php
これで大丈夫ですか？それとも何か他のものを使うべきですか？
John Cester
「/wp-content/plugins/」をrobots.txtでブロック（無効化）するのは良い考えですか？ プラグインを削除するたびに、そのプラグインの一部のページで404エラーが表示されます。