まだ公開準備ができていないWordPressサイトで作業していますか？準備ができる前に、未完成のページが検索結果に表示されるのは避けたいでしょう。
このガイドでは、WordPressで検索エンジンのクロールとインデックス作成を制御する方法を説明します。また、サイト全体、単一のページ、または特定のフォルダを非表示にするために使用する方法も説明します。
重要：クロールとインデックス作成は同じではありません
多くの初心者は、実際にはインデックス作成を停止したいのに、検索エンジンがサイトをクロールするのを停止してしまいます。それらの違いを理解することが重要です。
クロールとは、検索エンジンのボットがコンテンツを発見するためにサイトを訪問することです。インデックス作成とは、それらのコンテンツを検索可能なデータベースに追加することです。
図書館員が新しい本を読んでいる（クロール）そしてそれを図書館のカタログに追加している（インデックス作成）と考えてください。
これは重要です。なぜなら、クロールをブロックしても、必ずしもインデックス作成を防げるわけではないからです。Googleが他のウェブサイトからのリンクを通じてブロックされたURLを発見した場合、そのURLをインデックスに登録する可能性があります。Googleはページをクロールできないため、検索結果に「このページの情報は利用できません」と表示されることがあります。
サイトのクロールとインデックス作成のどちらを無効にするべきか知りたいですか？簡単なガイドはこちらです：
| ユースケース | 何をすべきか | 適切なツール |
|---|---|---|
| まだ公開されていないサイト全体を非表示にする | すべてのアクセスをブロックする | WordPressの表示設定+パスワード保護 |
| Googleから1つのページまたは投稿を削除する | クロール可能にしてインデックス作成を停止する | noindexタグを追加する |
| ボットをフォルダから遠ざける | そのフォルダのクロールを停止する | robots.txt 禁止 |
以下のリンクをクリックして、お好みの方法にジャンプしてください：
方法1：WordPressの設定を使用してインデックス作成を抑制する
WordPressには、検索エンジンにサイトをインデックスしないように求める組み込み設定があります。設定 » 表示設定に移動し、「検索エンジンがこのサイトをインデックスしないようにする」にチェックを入れます。
有効にすると、WordPressはページにnoindex,nofollowロボットメタタグを追加します：
<meta name="robots" content="noindex,nofollow">
noindexディレクティブは検索エンジンにページを検索結果に含めないように求め、nofollowはそれらのページ上のリンクをたどらないように求めます。
WordPressは、この要求を検索エンジンが尊重するかどうかは検索エンジン次第であると警告しています。言い換えれば、この設定は検索エンジンにサイトをインデックスしないように求めますが、サイトへのアクセスを停止するわけではありません。
検索エンジンにウェブサイトのインデックス作成やクロールを不可能にしたい場合は、WordPressサイトにパスワード保護を設定する必要があります。
方法2：特定のページまたは投稿のインデックス作成を停止する
サイトを検索結果に残したいが、特定のページまたは投稿をGoogleから除外したい場合は、そのページにnoindexディレクティブを追加します。
ほとんどの無料WordPress SEOプラグインでこれが可能です。WPBeginnerではAll in One SEOの無料版を使用しているため、その使い方を説明します。まず、プラグインをインストール、有効化し、ウェブサイトに設定してください。
次に、検索結果から削除したい投稿またはページを編集します。AIOSEO設定までスクロールし、「詳細設定」タブに切り替えます。「デフォルト設定を使用」をオフにし、「インデックスしない」を選択します。
変更を保存するには、「更新」または「公開」をクリックします。AIOSEOはページにnoindexディレクティブを追加し、検索エンジンにインデックスに含めないように指示します。
方法3：robots.txtファイルを直接編集する
サイト全体をブロックするのではなく、WordPressサイトの特定の部分をクローラーにクロールさせないように指示したい場合は、robots.txtを使用します。たとえば、サイトの他の部分はクロールを許可しながら、/private/フォルダのクロールをボットに停止させることができます。
WordPressは通常、robots.txtファイルを自動生成します。yourdomain.com/robots.txtにアクセスすると表示できます。
All in One SEOを含むほとんどの無料WordPress SEOプラグインでは、WordPressダッシュボードから直接robots.txtを編集できます。または、ホスティングファイルマネージャーまたはFTPを使用して、サイトのルートディレクトリにrobots.txtファイルを作成または編集することもできます。詳細な手順については、WordPressのrobots.txtをSEOのために最適化する方法をご覧ください。
ファイルを開いたら、以下のコードをrobots.txtファイルにコピーします。
User-agent: *
Disallow: /private/
検索エンジンにクロールを停止させたいURLパスを/private/に置き換えることを確認してください。
方法4：X-Robots-Tagを使用してインデックス作成を防ぐ
検索結果からPDFなどのファイルを除外する必要がある場合は、X-Robots-Tag HTTPヘッダーを使用できます。robotsメタタグとは異なり、noindexを追加できるHTMLページがないファイルでも機能します。
Apacheサーバーの場合は、.htaccessファイルに次のコードを追加します。
<FilesMatch ".pdf$">
<IfModule mod_headers.c>
Header set X-Robots-Tag "noindex"
</IfModule>
</FilesMatch>
AIOSEOを使用している場合は、All in One SEO » Tools » .htaccess Editorから.htaccessファイルを編集することもできます。
警告: .htaccessファイルを誤って編集すると、ウェブサイトが破損する可能性があります。変更を加える前に、必ずWordPressサイトをバックアップするか、.htaccessファイルのコピーを作成してください。
方法5：cPanelを使用してサイト全体をパスワードで保護する
サイトがまだ構築中であり、検索エンジンからのアクセスをブロックしたい場合は、サイト全体にパスワード保護を有効にする必要があります。パスワードを削除するまで、訪問者やクローラーがサイトにアクセスできないようにブロックします。
ホスティングプロバイダーがcPanelを提供している場合は、アカウントにログインし、「ファイル」の下にある「ディレクトリのプライバシー」を開きます。
WordPressがインストールされているディレクトリを見つけます。これはpublic_htmlであることが多いです。複数のサイトがある場合は、public_htmlを開き、保護したいサイトのフォルダを選択してください。
ディレクトリの横にある「編集」をクリックします。新しい画面で、「このディレクトリにパスワード保護を適用する」にチェックを入れ、保護するディレクトリの名前を入力し、「保存」をクリックします。
次に、「ユーザーの作成」セクションを使用して、ユーザー名とパスワードを入力します。これにより、検索エンジンのクローラーを含む誰もサイトにアクセスできなくなる前に、それらのログイン詳細が必要になります。
サーバーレベルのパスワード保護は、サイトへのすべてのアクセスをブロックすることに注意してください。支払いゲートウェイやcronジョブなどの外部サービスは、保護を削除するまで機能しない場合があります。
WordPressサイトの検索エンジンのクロールを停止する方法に関するFAQ
1. サイトを公開する準備ができたときに、サイトにパスワード保護をかけることはSEOに悪影響がありますか？
いいえ。建設中のサイトにパスワード保護をかけても、SEOに悪影響はありません。パスワードを削除すると、検索エンジンは通常どおりページをクロールしてインデックスに登録できます。
2. WordPressでSEOを無効にするにはどうすればよいですか？
WordPressには「SEOを無効にする」という設定はありません。サイトを検索結果に表示させたくない場合は、設定 » 表示設定にある「検索エンジンがサイトをインデックスに登録することをブロックする」を有効にしてください。
3. テスト中にWordPressサイトを検索エンジンから非表示にするにはどうすればよいですか？
ホスティングコントロールパネルでサイトにパスワード保護を適用します。ホストがそのオプションを提供している場合。たとえば、cPanelユーザーは「ディレクトリプライバシー」を使用して、誰もサイトにアクセスする前にユーザー名とパスワードを要求できます。
4. noindexとnofollowの違いは何ですか？
noindexは、検索エンジンにページを検索結果に含めないように指示します。nofollowは、そのページ上のリンクをたどらないように指示します。これらは異なるものを制御し、必要に応じて組み合わせて使用できます。
この記事が、WordPressサイトの検索エンジンのクロールまたはインデックス登録を停止するのに役立ったことを願っています。ウェブサイトを公開する準備ができたときのWordPress SEOチェックリストも参照してください。
この記事が気に入った場合は、WordPressのビデオチュートリアルのために、YouTubeチャンネルを購読してください。また、TwitterやFacebookでも私たちを見つけることができます。
オヤトグン・オルワセウン・サミュエル
すごい！wpBeginnerさん、ありがとうございます。public_htmlフォルダのパスワード保護を有効にするなんて考えたこともありませんでした。この視点を提供してくれて感謝します。本当にありがとうございます！
イジー・ヴァネック
これらの手順やrobots.txtは、ロボットにとって推奨される動作にすぎないとよく聞きます。実際に検索されないようにするにはどうすればよいですか？例えば、.htaccessファイルを使ってGoogleやBingの範囲をブロックすることは可能ですか？
WPBeginnerサポート
サイトへのアクセスを完全にブロックするには、方法3または4を使用します。
管理者
イジー・ヴァネック
それは理解していますが、その場合、ウェブサイトは公開されず、ログインとパスワードを知っている人だけがアクセスできるということでしょうか？私の考えは、ボットの IP 範囲を見つけて、htacess ファイルレベルでブロックするというものでした。例えば、それは理にかなっていますか、それともナンセンスですか？
WPBeginnerサポート
ボットが後で別のIPでサイトを見つけられないという保証はありません。サイトがクロールされないことを確実にするには、プライベートサイトにする必要があります。それ以外の場合は、robots.txtを使用してサイトがクロールされないように要求するのが最善のオプションです。
イジー・ヴァネック
わかりました、そしてご回答ありがとうございます。範囲をブロックすることで解決できると思っていましたが、ボットは別のIPや新しい範囲から来る可能性があるというのは正しいですね。robots.txtファイルに頼ってみて、すべてうまくいくことを願います。
モハデセ・エスマーイーリ
サイト内に多数のインデックスページがあることが、他のページのインデックス作成に影響しないという一般的な考えは正しいですか？
WPBeginnerサポート
サイトにインデックスされたページがあるからといって、インデックスされないようにクローラーから隠せる他のページがないとは限りません。
管理者
モイヌディン・ワヒード
WordPressダッシュボードの設定タブを見ていると、なぜ誰もGoogleにページや投稿を表示させたくないと思うのだろうか、と何度も考えてきました。今日、この記事を読んで、なぜ誰も検索エンジンのインデックス登録を避けたいと思うのか、その理由を知りました。
実際、それは非常に簡単です。設定タブの「表示設定」セクションにある、「検索エンジンがサイトをインデックス登録しないようにする」というチェックボックスをオンにするだけです。
長年の疑問が晴れました。ありがとうございます。
WPBeginnerサポート
誰かがチェックボックス
を使用する理由を共有できて嬉しいです
管理者
シャーロット
まさに探していたものでした。開発サイトをクライアントのライブサイトに移行した後、古いサイトにトラフィックが戻ってくるのは望ましくありませんでした。ありがとうございました！
WPBeginnerサポート
当社のガイドがお役に立てて嬉しいです
管理者
ライアン
WordPressからサイトを完全に削除しましたが、Googleで自分の名前を検索すると、サイトはなくなっているにもかかわらず、古いWordPressサイトが表示されます。サポートチームの誰か、削除を手伝ってもらえませんか？クライアントが実際のライブサイトと混同することを望みません。
WPBeginnerサポート
Googleの検索結果で古いサイトをGoogleとしてクロールすると、Googleのキャッシュを更新するのに役立ちます。サイトを完全に削除する他の方法については、こちらの投稿をご覧ください：https://www.wpbeginner.com/wp-tutorials/how-to-permanently-delete-a-wordpress-site-from-internet/
管理者
ディビヤンシュ
ハッカーから保護するためにWordPressサイトのインデックス作成を無効にした場合、Googleのインデックス作成に影響しますか？影響する場合、Googleが私のページをインデックス作成できるようにするにはどうすればよいですか？
アンディ
うまくいかないようです。自信を持って指示に従いました。私のサブドメインはまだ公開されています。
WPBeginnerサポート
アンディさん、こんにちは。
サブディレクトリをパスワードで保護している場合は、cPanelで設定を再度確認してください。すべて問題ないように見える場合は、WordPressホスティングプロバイダーに連絡することをお勧めします。
管理者
ジェイ
はい、「サイトのインデックス作成を検索エンジンに discourge する」の下に書かれていることは非常に真実です。Googleはこれを尊重していないようです。
ちんじゅ
こんにちは、ウェブサイトに100万ものサブページがある場合、robotsファイルに User-agent: * Disallow: / を追加すると、検索エンジンはすべてのサブページをブロックしますか？という疑問があります。
シェーカル・サルダール
はい。robot.txt に Disallow:/ を追加すると、すべての検索エンジンのボットに、このサイトまたはウェブページをクロールしないように指示することになります。
アナンド
会員ページ、メンバープロフィールページをどの検索エンジンにもインデックスされないようにしたいのですが、どうすればよいですか????
ケネス
これを試しましたが、WordPressのインストールで.htccessが壊れてしまいました。
ですので、注意して進めてください。
ジョージョー
こんにちは、
現在、Wordpress.comのブログ（無料プラン）を利用しており、ウェブサイトを立ち上げずに、まずはブログのみに頼ってデジタル商品をオンラインで販売したいと考えています（資金不足のため）。この考えを実行するため、ブログに変更を加えました。支払い後、顧客はデジタルコンテンツをダウンロードするためのリンクがある私のブログページにリダイレクトされます。そのため、支払いゲートウェイが、検索エンジンなどで検索可能にならず、Wordpress.comの投稿リスト/ページなどにも表示されない私のブログのダウンロードページにトラフィックをリダイレクトできるようにしたいだけです。ダウンロードページが検索エンジンで検索可能になったり、ブログの投稿としてリストされたりすると、顧客は支払いなしで直接コンテンツをダウンロードしてしまうため、何も稼げなくなってしまいます。
敬具、
Joojo。
Jennifer
今、WPを学んでサイトをデザインしています。今のところ、サイトがクロールされるのを望まないので、検索エンジンでの表示設定のチェックボックスをオンにし、パスワード保護を追加しました。しかし、数ヶ月後にはサイトを公開し、訪問者にサイトに来てほしいと思っています。検索エンジンでの表示設定のチェックボックスをオフにし、パスワード保護を解除すると、robots nofollowヘッダーは自動的に更新されますか？それともヘッダーセクションで手動で更新する必要がありますか？
WPBeginnerサポート
はい、そうなります。ただし、念のため、Googleウェブマスターツールを使用してサイトのXMLサイトマップを送信する必要があります。これにより、サイトでクロールエラーが見つかったかどうかを確認できます。
管理者
ライアン
サイト全体をブロックするのではなく、特定のページだけをブロックすることは可能ですか？
チャド
WordPressでは、ページや投稿にパスワード保護オプションを提供しています。ページまたは投稿の編集で「表示設定」を「パスワード保護」に変更するだけです。
WPBeginnerスタッフ
こちらのスレッドをご覧ください。
パトリック
GoogleとBingに私のサイトをクロールさせ、SeMaltにはクロールを停止させるにはどうすればよいですか。SeMaltは私のサイトにトラフィックを送り、あたかもヒット数が多いように見せかけますが、これらのクリックはすぐに私のサイトから離れてしまい、その結果、WordPressサイトの直帰率が上昇します。
この件について何か助けていただけると幸いです。
Patrick
パワン・レッディ
このヒントをありがとう。これが可能だとは知りませんでした