検索エンジンがWordPressウェブサイトをクロールするのを止める最良の方法

公開: 2023-01-27

検索エンジンのインデックス登録とは何ですか?

検索エンジンのインデックス作成は、Google、Bing、Yahoo などの検索エンジンが Web ページを検出してデータベースに追加するプロセスです。 これらのデータベースは、ユーザーが検索エンジンにクエリを入力したときに検索結果を強化するために使用されます。

検索エンジンが Web をクロールするとき、あるページから別のページへのリンクをたどり、遭遇した各ページのコンテンツをインデックスに登録します。 ページをインデックス化する際に、コンテンツを処理して、ページの内容と、検索結果でどのようにランク付けする必要があるかを理解します。 このプロセスは、「インデックス作成」または「クロールとインデックス作成」として知られています。

検索エンジンがページをインデックス化するとき、ページ上のテキスト、ページ上の画像とビデオ、HTML コードの構造、ページへのリンクなど、さまざまな要素を調べます。 この情報を使用して、ページの関連性と権限、および検索結果でのランク付け方法を決定します。

検索エンジンはデータベースを常に更新して最新の情報を保持しているため、検索エンジンのインデックス作成は継続的なプロセスです。 新しいページが作成され、古いページが更新または削除されるなど、Web は常に変化しているため、これは重要です。

検索エンジンの結果で Web サイトのランキングを向上させる重要な要素の 1 つは、検索エンジン最適化 (SEO) と呼ばれる手法を使用して、検索エンジン向けにページを最適化することです。 ページを検索エンジン用に最適化することで、ページがインデックスに登録され、検索結果で上位にランクされる可能性を高めることができます。

検索エンジンが WordPress ウェブサイトをクロールするのを止めるのはなぜですか?

検索エンジンによる WordPress サイトのクロールを停止したい理由はいくつか考えられます。 考えられる理由は次のとおりです。

  1. 開発とテスト: Web サイトが開発中またはテスト中の場合、一般に公開する準備ができていない可能性があります。 この場合、サイトの所有者は、サイトを立ち上げる準備が整うまで、検索エンジンがサイトをクロールしないようにすることができます。
  2. プライバシーとセキュリティ: 一部の Web サイトには、公開してはならない機密情報が含まれている場合があります。 この場合、サイトの所有者は、情報のプライバシーとセキュリティを保護するために、検索エンジンがサイトをクロールしないようにすることができます。
  3. トラフィック管理: 一部の Web サイトでは、帯域幅やサーバー容量など、利用可能なリソースの量が限られている場合があります。 この場合、サイトの所有者は、リソースを節約し、トラフィックを管理するために、検索エンジンがサイトをクロールしないようにすることができます。
  4. 重複コンテンツ: Web サイトが複数のドメインで実行されている場合、重複コンテンツの問題が発生する可能性があり、検索エンジンの最適化に悪影響を及ぼす可能性があります。 この場合、サイトの所有者は、この問題を回避するために、検索エンジンが重複したサイトをクロールしないようにすることができます。
  5. メンテナンス モード: Web サイトのメンテナンスを実行する場合、サイトの所有者は、検索エンジンがサイトをクロールしないようにして、訪問者に 404 エラーが返されないようにすることができます。
  6. ステージング サイト: サイト所有者がライブ サイトに変更を公開する前にステージング サイトで新しい変更または更新をテストしたい場合は、ライブ サイトの検索での混乱や問題を回避するために、検索エンジンがステージング サイトをクロールしないようにすることをお勧めします。エンジンランキング。

検索エンジンによる WordPress サイトのクロールを防ぐことは可能ですが、長期間クロールすることはお勧めできません。 検索エンジンの可視性は、サイトへのトラフィックを促進するために重要であり、インデックス作成を通じて最新の状態に保つことは、検索エンジンの最適化にとって重要です.

検索エンジンによる WordPress Web サイトのクロールを停止する方法

検索エンジンによる WordPress サイトのクロールを停止するには、いくつかの方法があります。

  1. プラグインの使用: Yoast SEO や All in One SEO Pack など、「noindex」メタ タグをページに追加できる WordPress プラグインがいくつかあります。 これにより、検索エンジンはページをインデックスに登録しないようになり、サイトのクロールを効果的に防止できます。
  2. robots.txt ファイルの使用: robots.txt ファイルは、ウェブサイトのルートにあるファイルで、クロールしてはならないサイトのページまたはセクションを検索エンジンに指示します。 robots.txt ファイルを使用して、検索エンジンによるサイト全体のクロール、または特定のページやセクションのみのクロールをブロックできます。
  3. .htaccess ファイルの使用: .htaccess ファイルは、多くのホスティング プロバイダーで使用されている Apache Web サーバーの構成ファイルです。 .htaccess ファイルを使用して、数行のコードを追加することで、検索エンジンによるサイトのクロールをブロックできます。
  4. パスワード保護: プラグインまたはホスティング プロバイダーの組み込み機能を使用してサイトをパスワードで保護すると、保護されたページに検索エンジンがアクセスできなくなり、検索エンジンがサイトをクロールするのを防ぐこともできます。
  5. メンテナンス モード: WordPress には、wp-config.php ファイルを介してアクティブ化できる組み込みのメンテナンス モード機能があります。 これにより、訪問者にメンテナンス ページが表示され、メンテナンス中に検索エンジンがサイトをクロールするのを防ぐことができます。
  6. ステージング サイト: 多くのホスティング プロバイダーがステージング機能を提供しています。これにより、テストおよび開発用にライブ サイトのコピーを作成できます。 通常、ステージング サイトはインデックス作成からブロックされているため、検索エンジンはステージング サイトをクロールできません。

いくつかの詳細を含むすべてのメソッドを見てみましょう。

＃1。 プラグインの使用

プラグインを使用して検索エンジンが WordPress サイトをクロールするのを阻止することは、設定が比較的簡単で、技術的な知識を必要としないため、一般的な方法です。 Yoast SEO や All in One SEO Pack など、「noindex」メタ タグをページに追加できる WordPress プラグインがいくつかあります。

To Stop Search Engines From Crawling use yoast plugin
Yoast SEOの「インデックスなし」オプション

プラグインを使用して「noindex」メタ タグを追加すると、検索エンジンにページをインデックスに登録しないように指示し、サイトのクロールを効果的に防止します。 これは、ページが検索エンジンの結果に表示されず、検索エンジンがページのクロールにリソースを消費しないことを意味します。

プラグインを使用して検索エンジンによる WordPress サイトのクロールを停止するには、まずプラグインをインストールして有効にする必要があります。 プラグインを有効にすると、通常、WordPress ダッシュボードからプラグインの設定にアクセスできるようになります。 そこから、検索エンジンがクロールしないようにするページまたは投稿を選択し、それらに「noindex」メタ タグを追加できます。

To Stop Search Engines, no-index-in-all-in-one-seo

一部のプラグインでは、検索エンジンにページ上のリンクをたどらないように指示する「nofollow」メタ タグを追加することもできます。 これは、検索エンジンがサイトをクロールしないようにしたいが、ユーザーにはページへのアクセスを許可したい場合に役立ちます。

さらに、一部のプラグインでは、適切なセクションまたはページに「noindex」メタ タグを追加することで、検索エンジンがサイトの特定のセクションまたはサイト全体をクロールするのをブロックすることもできます。

プラグインを使用して検索エンジンによる WordPress サイトのクロールを停止することは一時的な解決策であり、Web サイトの可視性とトラフィックに影響を与えるため、長期間使用しないでください。 Web サイトに変更を加えたい場合は、代わりにメンテナンス モードまたはステージング サイトを使用できます。

＃2。 robots.txt ファイルの使用

robots.txt ファイルを使用して、検索エンジンによる WordPress サイトのクロールを停止することは、Web ロボット (「クローラー」または「スパイダー」とも呼ばれます) の標準に基づく方法です。 robots.txt ファイルは、Web サイトのルートにあるファイルで、クロールしてはならないサイトのページまたはセクションを検索エンジンに指示します。 robots.txt ファイルを作成してウェブサイトにアップロードすると、検索エンジンがサイトの特定のページやセクションをクロールするのを防ぐことができます。

robots.txt ファイルを作成するには、メモ帳や TextEdit などの単純なテキスト エディタを使用できます。 このファイルは、ブロックするクローラーを検索エンジンに指示する user-agent 行で開始する必要があります。 たとえば、すべての検索エンジンをブロックするには、「User-agent: *」を使用します。

次に、ブロックするサイトのページまたはセクションを指定できます。 これは、「Disallow」ディレクティブを使用して行い、その後にブロックするページまたはセクションの URL を続けます。 たとえば、特定のページをブロックするには、「Disallow: /page-to-block/」を使用します。 ディレクトリ全体をブロックするには、「Disallow: /directory-to-block/」を使用します。

robots.txt ファイルを作成したら、Web サイトのルート ディレクトリにアップロードする必要があります。 ルート ディレクトリの場所はホスティング プロバイダーによって異なりますが、通常はホームページと同じディレクトリです。

robots.txt ファイルは検索エンジンがサイトをクロールするのを防ぐことができますが、一部のクローラーがファイルを無視する可能性があるため、絶対確実な方法ではないことに注意してください。 さらに、robots.txt ファイルによって、検索エンジンがサイトの存在を認識できなくなるわけではないことを覚えておくことが重要です。

また、robots.txt を使用してサイト全体をブロックしている場合、サイトがインデックスに登録されず、検索エンジンの結果に表示されなくなり、その結果、ウェブサイトが検索エンジンからトラフィックを獲得できなくなることに注意してください。

また、URL「 https://www.example.com/robots.txt 」にアクセスして、任意のウェブサイトの robots.txt ファイルを確認し、「example.com」を任意のウェブサイトのドメイン名に置き換えることもできます。

＃3。 .htaccess ファイルの使用

.htaccess ファイルを使用して、検索エンジンによる WordPress サイトのクロールを停止するには、サーバー上の .htaccess ファイルを編集して、検索エンジンによるサイトの特定のページまたはセクションのクロールをブロックする特定のルールを追加する必要があります。 .htaccess ファイルは、Web サイトのルート ディレクトリにある構成ファイルであり、リダイレクト、セキュリティ、アクセス制御など、Web サイトの動作のさまざまな側面を制御します。

.htaccess ファイルを使用して、検索エンジンが WordPress サイトの特定のページをクロールするのをブロックする方法の例を次に示します。

  1. FTP または Web ホスティング コントロール パネルのファイル マネージャーを使用して、Web サイトのルート ディレクトリにアクセスします。
  2. .htaccess ファイルを探します。存在しない場合は、同じ名前で新しいファイルを作成できます。
  3. メモ帳や TextEdit などのテキスト エディターで .htaccess ファイルを開きます。
  4. ファイルの最後に次のコードを追加します。
 <IfModule mod_rewrite.c> RewriteEngine On RewriteCond %{HTTP_USER_AGENT} (googlebot|bingbot|yahoo) [NC] RewriteRule ^page-to-block/$ - [R=404,L] </IfModule>

このコードは、すべての主要な検索エンジンが「page-to-block」という URL を含むページをクロールするのをブロックします。 ブロックする特定のページに一致するように URL を変更できます。

  1. .htaccess ファイルを保存し、サーバーにアップロードして戻します。

この方法は、検索エンジンが指定されたページをクロールするのを防ぎますが、検索エンジンがページの存在を認識するのを防ぐことはできないことに注意してください。 さらに、この方法は、検索エンジンのクローラーが .htaccess ファイルで指定されたルールに従うという前提に基づいていますが、常にそうであるとは限りません。

また、.htaccess ファイルを編集する際には注意が必要です。コードに誤りがあると、Web サイトにアクセスできなくなる可能性があります。 変更を加える前に、元の .htaccess ファイルのバックアップを取っておくことをお勧めします。

＃4。 パスワード保護

パスワード保護を使用して、検索エンジンが WordPress サイトをクロールするのを阻止するには、サイトの特定のページまたはセクションにパスワードを追加する必要があります。 つまり、パスワードを知っているユーザーのみが保護されたページにアクセスでき、検索エンジンはページをクロールできなくなります。

WordPress サイトのページまたはセクションをパスワードで保護するには、いくつかの方法があります。

  1. プラグインの使用: パスワード保護やパスワード保護カテゴリなど、サイトのページやセクションをパスワードで保護できる WordPress プラグインがいくつかあります。 これらのプラグインを使用すると、特定のページや投稿、またはカテゴリ全体にパスワードを設定できます.
  2. .htaccess ファイルの使用: .htaccess ファイルを使用して、Web サイトの特定のディレクトリをパスワードで保護できます。 この方法は、サーバー上の .htaccess ファイルを編集する必要があるため、少し技術的ですが、単一のページや投稿ではなく、ディレクトリ全体をパスワードで保護する場合に役立ちます。
  3. cPanel の使用: 一部の Web ホスティング プロバイダーは、cPanel でディレクトリをパスワードで保護する方法も提供しています。 この方法は、ディレクトリ全体をパスワードで保護する必要があり、.htaccess ファイルの編集に慣れていない場合に役立ちます。

サイトのページまたはセクションをパスワードで保護すると、検索エンジンはそれをクロールできなくなります。 ただし、この方法では、検索エンジンがページの存在を認識できなくなるわけではないことに注意してください。 さらに、サイトのページまたはセクションをパスワードで保護すると、ユーザーがアクセスできなくなることを覚えておくことが重要です。そのため、サイトの可視性やトラフィックにとって重要ではないページまたはセクションにのみ使用する必要があります。

また、パスワード保護の使用は長期的な解決策ではありません。この方法は、メンテナンス中やテスト中など、サイトまたはその特定の部分へのアクセスを一時的にブロックする必要がある場合にのみ使用してください。

＃5。 メンテナンスモード

WordPress には組み込みのメンテナンス モード機能があり、更新、メンテナンス、または変更を行っている間、サイトを一時的にオフラインにすることができます。 この機能は通常、「近日公開」または「メンテナンス モード」ページを訪問者に表示するために使用されますが、あなたや他のログイン ユーザーは引き続きサイトにアクセスできます。

WordPress に組み込まれているメンテナンス モードを有効にするには、次の手順に従います。

  1. WordPress ダッシュボードに移動し、[設定] メニューに移動します。
  2. 「メンテナンスモード」オプションを選択します。
  3. 「メンテナンスモードを有効にする」チェックボックスをオンにします。
  4. 「変更を保存」ボタンをクリックします。

メンテナンス モードを有効にすると、訪問者には「近日公開」または「メンテナンス モード」ページが表示されますが、あなたと他のログイン ユーザーはサイトに完全にアクセスできます。 これにより、メンテナンス モードの間、検索エンジンによるサイトのクロールもブロックされます。

「Coming Soon Page & Maintenance Mode by SeedProd」のようなプラグインをインストールすることもできます。これにより、Coming Soon Page & Maintenance Mode by SeedProd を使用して、Coming Soon ページをカスタマイズしたり、メンテナンス モード中に検索エンジンがサイトをクロールするのをブロックしたりできます。

#6 .ステージングサイト

ステージング サイトは、テストおよび開発目的で使用されるライブ Web サイトの複製またはレプリカです。 ライブ バージョンに影響を与えることなく、サイトに変更を加えて新機能をテストすることができます。 これは、Web サイトを更新したり、大きな変更を加えたりしたいが、進行中のサイトを訪問者や検索エンジンに見られたくない場合に非常に便利です。

多くのホスティング プロバイダーは、数回クリックするだけでライブ サイトのコピーを作成できるステージング機能を提供しています。 これには通常、ステージング サイトにアクセスできる別のサブドメインまたはメイン ドメインのサブディレクトリの作成が含まれます。 ステージング サイトを作成するプロセスは、ホスティング プロバイダーによって異なりますが、通常は次のようないくつかの簡単な手順が含まれます。

  1. ホスティング アカウントにログインします。
  2. ホスティング コントロール パネルまたは cPanel に移動します。
  3. 「ステージング」または「開発」セクションを探します。
  4. ホスティング アカウントのサイトのリストから Web サイトを選択します。
  5. 「ステージングサイトの作成」ボタンをクリックします。

ステージング サイトが作成されると、「staging.yourdomain.com」など、ライブ サイトとは異なる URL を使用してアクセスできるようになります。 その後、ライブ バージョンに影響を与えることなく、ステージング サイトで変更を加えて新機能をテストできます。

ステージング サイトは通常、インデックス作成がブロックされているため、検索エンジンはこのサイトをクロールできないことに注意してください。 これは、ステージング サイトが検索エンジンに表示されず、ライブ サイトの SEO に影響を与えないことを意味します。 robots.txt ファイルを使用するか、プラグインを使用してサイトへのアクセスを管理することで、検索エンジンがサイトをクロールするのをブロックすることもできます。検索エンジンは、開発中のサイトにアクセスできません。

ステージング サイトでの変更とテストが完了したら、変更をライブ サイトにプッシュできます。 これは、ステージング サイトの作成に使用したものと同じプラグインを使用するか、変更をライブ サイトに手動でアップロードすることで実行できます。

ステージング サイトはライブ サイトのレプリカであり、安全な環境で変更をテストおよび開発するために使用されます。また、検索エンジンがサイトをクロールするのをブロックするために使用することができ、変更をライブにする前にテストすることができます。 また、多くのホスティング プロバイダーは、この機能を組み込みサービスとして提供しています。

まとめ

結論として、検索エンジンが WordPress サイトをクロールするのを阻止するために使用できるいくつかの方法があり、それぞれに独自の利点と制限があります. これらの方法には、組み込みのメンテナンス モード、robots.txt ファイル、プラグインの使用、およびステージング サイトの作成が含まれます。 これらの各方法を使用して、機密情報のプライバシーとセキュリティの保護、トラフィックとリソースの管理、重複コンテンツの問題の回避、ライブ サイトに公開する前の新しい変更または更新のテストなど、さまざまな目標を達成できます。 ニーズに最も適した適切な方法を選択し、検索エンジンがクロールしないようにサイトが適切に構成されていることを確認することが不可欠です。