阻止搜索引擎抓取 WordPress 網站的最佳方法

已發表: 2023-01-27

什麼是搜索引擎索引？

搜索引擎索引是搜索引擎（例如 Google、Bing 或 Yahoo）發現網頁並將其添加到其數據庫的過程。 然後，當用戶在搜索引擎中輸入查詢時，這些數據庫將用於為搜索結果提供支持。

當搜索引擎抓取網絡時，它會跟踪從一個頁面到另一個頁面的鏈接，並對它遇到的每個頁面上的內容編制索引。 當它為頁面編制索引時，它會處理內容以了解該頁面的內容以及它在搜索結果中的排名方式。 這個過程被稱為“索引”或“爬行和索引”。

當搜索引擎索引一個頁面時，它會考慮各種因素，例如頁面上的文本、頁面上的圖像和視頻、HTML 代碼的結構以及指向該頁面的鏈接。 它使用此信息來確定頁面的相關性和權威性，以及它在搜索結果中的排名方式。

搜索引擎索引是一個持續的過程，因為搜索引擎不斷更新他們的數據庫以確保他們擁有最新的信息。 這一點很重要，因為網絡在不斷變化，新頁面被創建，舊頁面被更新或刪除。

提高您的網站在搜索引擎結果中的排名的一個關鍵因素是通過稱為搜索引擎優化 (SEO) 的技術針對搜索引擎優化您的頁面。 通過針對搜索引擎優化您的頁面，您可以增加您的頁面被編入索引並在搜索結果中排名更高的可能性。

為什麼要阻止搜索引擎抓取 WordPress 網站？

有人想要阻止搜索引擎抓取 WordPress 網站的原因可能有多種。 以下是一些可能的原因：

  1. 開發和測試：如果一個網站正在開發或測試中，它可能還沒有準備好供公眾使用。 在這種情況下，網站所有者可能希望在網站準備好啟動之前阻止搜索引擎抓取該網站。
  2. 隱私和安全：某些網站可能包含不應公開訪問的敏感信息。 在這種情況下，站點所有者可能希望阻止搜索引擎抓取站點以保護信息的隱私和安全。
  3. 流量管理：某些網站的可用資源數量可能有限，例如帶寬或服務器容量。 在這種情況下，站點所有者可能希望阻止搜索引擎抓取站點以節省資源和管理流量。
  4. 重複內容：如果一個網站在多個域上運行，可能會導致重複內容問題，這會對搜索引擎優化產生負面影響。 在這種情況下，站點所有者可能希望阻止搜索引擎抓取重複站點以避免出現此問題。
  5. 維護模式：在對網站進行維護時，網站所有者可能希望阻止搜索引擎抓取網站以避免向訪問者返回 404 錯誤。
  6. 暫存站點：如果站點所有者想要在將更改發佈到實時站點之前在暫存站點上測試新的更改或更新，他們可能希望阻止搜索引擎抓取暫存站點以避免其實時站點的搜索出現任何混淆或問題引擎排名。

值得注意的是，雖然可以阻止搜索引擎抓取 WordPress 網站，但不建議長期這樣做。 搜索引擎可見性對於增加網站流量很重要，通過索引保持更新對於搜索引擎優化至關重要。

阻止搜索引擎抓取 WordPress 網站的方法

有幾種方法可用於阻止搜索引擎抓取 WordPress 站點：

  1. 使用插件：有幾個 WordPress 插件，例如 Yoast SEO 或 All in One SEO Pack，它們允許您向頁面添加“noindex”元標記。 這告訴搜索引擎不要索引該頁面，從而有效地防止它們抓取該網站。
  2. 使用 robots.txt 文件：robots.txt 文件是一個位於網站根目錄的文件，它告訴搜索引擎他們不應抓取網站的哪些頁面或部分。 您可以使用 robots.txt 文件來阻止搜索引擎抓取您的整個網站，或僅抓取特定頁面或部分。
  3. 使用 .htaccess 文件：.htaccess 文件是 Apache Web 服務器的配置文件，許多託管服務提供商都使用它。 您可以使用 .htaccess 文件通過添加幾行代碼來阻止搜索引擎抓取您的站點。
  4. 密碼保護：使用插件或託管服務提供商的內置功能對您的網站進行密碼保護也可以防止搜索引擎抓取您的網站，因為它們將無法訪問受保護的頁面。
  5. 維護模式：WordPress 具有內置的維護模式功能，可以通過 wp-config.php 文件激活。 這將向訪問者顯示一個維護頁面，並防止搜索引擎在維護期間抓取該站點。
  6. 暫存站點：許多託管服務提供商都提供暫存功能，允許您創建實時站點的副本以進行測試和開發。 搜索引擎將無法抓取暫存站點，因為它通常被阻止編入索引。

讓我們看一下所有方法的更多細節。

#1。 使用插件

使用插件阻止搜索引擎抓取 WordPress 網站是一種流行的方法，因為它相對容易設置並且不需要任何技術知識。 有幾個可用的 WordPress 插件允許您將“noindex”元標記添加到您的頁面，例如 Yoast SEO 或 All in One SEO Pack。

To Stop Search Engines From Crawling use yoast plugin
Yoast SEO 中的“無索引”選項

當您使用插件添加“noindex”元標記時，它會告訴搜索引擎不要為該頁面編制索引，從而有效地防止它們抓取該網站。 這意味著該頁面不會出現在搜索引擎結果中，搜索引擎也不會花費資源來抓取該頁面。

要使用插件阻止搜索引擎抓取 WordPress 網站，您首先需要安裝並激活插件。 激活插件後，您通常可以從 WordPress 儀表板訪問插件的設置。 從那裡，您可以選擇要阻止搜索引擎抓取的頁面或帖子，並向它們添加“noindex”元標記。

To Stop Search Engines, no-index-in-all-in-one-seo

值得注意的是，一些插件還允許您添加“nofollow”元標記，告訴搜索引擎不要跟踪頁面上的鏈接。 如果您想阻止搜索引擎抓取您的站點，但仍希望允許用戶訪問該頁面，這將很有用。

此外，一些插件還可以讓您通過將“noindex”元標記添加到相應的部分或頁面來阻止搜索引擎抓取您網站的某些部分或整個網站。

請務必記住，使用插件阻止搜索引擎抓取 WordPress 網站是一種臨時解決方案，不應長期使用，因為它會影響網站的可見性和流量。 如果您想對您的網站進行更改，您可以改用維護模式或暫存站點。

#2。 使用 robots.txt 文件

使用 robots.txt 文件阻止搜索引擎抓取 WordPress 站點是一種基於網絡機器人（也稱為“爬蟲”或“蜘蛛”）標準的方法。 robots.txt 文件是一個位於網站根目錄的文件，它告訴搜索引擎他們不應抓取網站的哪些頁面或部分。 通過創建 robots.txt 文件並將其上傳到您的網站，您可以防止搜索引擎抓取您網站的某些頁面或部分。

要創建 robots.txt 文件，您可以使用簡單的文本編輯器，如記事本或 TextEdit。 該文件應以用戶代理行開頭，該行告訴搜索引擎應阻止哪個爬蟲。 例如，要阻止所有搜索引擎，您可以使用“User-agent: *”。

接下來，您可以指定要阻止的網站頁面或部分。 這是通過使用“Disallow”指令，後跟要阻止的頁面或部分的 URL 來完成的。 例如，要阻止特定頁面，您可以使用“Disallow: /page-to-block/”。 要阻止整個目錄，您可以使用“Disallow: /directory-to-block/”。

創建 robots.txt 文件後，您需要將其上傳到網站的根目錄。 根目錄的位置取決於您的託管服務提供商，但通常與您的主頁位於同一目錄。

值得注意的是，雖然 robots.txt 文件可以阻止搜索引擎抓取您的網站，但這並不是萬無一失的方法，因為某些抓取工具可能會忽略該文件。 此外，請務必記住，robots.txt 文件不會阻止搜索引擎發現網站的存在。

此外，請記住，如果您使用 robots.txt 阻止整個網站，它將阻止您的網站被編入索引並出現在搜索引擎結果中，因此您的網站將不會從搜索引擎獲得任何流量。

另外值得注意的是，您可以通過訪問 URL“ https://www.example.com/robots.txt ”並將“example.com”替換為任何網站的域名來查看任何網站的 robots.txt 文件。

#3。 使用 .htaccess 文件

使用 .htaccess 文件阻止搜索引擎抓取 WordPress 網站是一種涉及編輯服務器上的 .htaccess 文件以添加特定規則的方法，這些規則將阻止搜索引擎抓取您網站的某些頁面或部分。 .htaccess 文件是一個配置文件，位於您網站的根目錄中，控製網站行為的各個方面，包括重定向、安全性和訪問控制。

下面是一個示例，說明如何使用 .htaccess 文件來阻止搜索引擎抓取 WordPress 網站上的特定頁面：

  1. 通過 FTP 或虛擬主機控制面板中的文件管理器訪問您網站的根目錄。
  2. 查找 .htaccess 文件，如果不存在，您可以創建一個同名的新文件。
  3. 在記事本或 TextEdit 等文本編輯器中打開 .htaccess 文件。
  4. 在文件末尾添加以下代碼：
 <IfModule mod_rewrite.c> RewriteEngine On RewriteCond %{HTTP_USER_AGENT} (googlebot|bingbot|yahoo) [NC] RewriteRule ^page-to-block/$ - [R=404,L] </IfModule>

此代碼將阻止所有主要搜索引擎抓取帶有“page-to-block”URL 的頁面。 您可以更改 URL 以匹配您要阻止的特定頁面。

  1. 保存 .htaccess 文件並將其上傳回您的服務器。

值得注意的是，該方法會阻止搜索引擎抓取指定的頁面，但不會阻止搜索引擎知道該頁面的存在。 此外，此方法基於以下假設：搜索引擎爬蟲將遵守 .htaccess 文件中指定的規則，但情況可能並非總是如此。

此外，編輯 .htaccess 文件時一定要小心，因為代碼中的錯誤可能會導致您的網站無法訪問。 建議在進行任何更改之前保留原始 .htaccess 文件的備份。

#4。 密碼保護

使用密碼保護來阻止搜索引擎抓取 WordPress 網站是一種涉及向網站的某些頁面或部分添加密碼的方法。 這意味著只有知道密碼的用戶才能訪問受保護的頁面，而搜索引擎將無法抓取它們。

有幾種密碼保護 WordPress 網站頁面或部分的方法：

  1. 使用插件：有幾個可用的 WordPress 插件允許您使用密碼保護頁面或網站部分，例如密碼保護或密碼保護類別。 這些插件允許您為特定頁面或帖子或整個類別設置密碼。
  2. 使用 .htaccess 文件：您可以使用 .htaccess 文件對您網站上的特定目錄進行密碼保護。 此方法更具技術性，因為它需要編輯服務器上的 .htaccess 文件，但如果您想用密碼保護整個目錄，而不僅僅是單個頁面或帖子，它會很有用。
  3. 使用 cPanel ：一些網絡託管服務提供商還提供了一種在 cPanel 中使用密碼保護目錄的方法。 如果您想用密碼保護整個目錄並且您不熟悉 .htaccess 文件編輯，此方法會很有用。

一旦您用密碼保護了網站的頁面或部分，搜索引擎將無法抓取它。 但是，值得注意的是，此方法不會阻止搜索引擎知道該頁面的存在。 此外，重要的是要記住，用密碼保護您網站的頁面或部分也會阻止用戶訪問它，因此它應該只用於對您網站的可見性或流量不重要的頁面或部分。

此外，使用密碼保護不是一個長期的解決方案，只有在臨時需要阻止訪問您的站點或站點的特定部分時才應使用此方法，例如在維護或測試期間。

#5。 維護模式

WordPress 有一個內置的維護模式功能，允許您在執行更新、維護或進行更改時暫時使站點離線。 此功能通常用於向訪問者顯示“即將推出”或“維護模式”頁面，同時仍允許您和其他登錄用戶訪問該站點。

要激活 WordPress 中的內置維護模式，您可以按照以下步驟操作：

  1. 轉到 WordPress 儀表板並導航到“設置”菜單。
  2. 選擇“維護模式”選項。
  3. 選中“啟用維護模式”複選框。
  4. 單擊“保存更改”按鈕。

啟用維護模式後，訪問者將看到“即將推出”或“維護模式”頁面，而您和其他登錄用戶將可以完全訪問該站點。 這也將阻止搜索引擎在網站處於維護模式時抓取該網站。

您還可以安裝一個插件，如“由 SeedProd 提供的即將推出的頁面和維護模式”，它允許您自定義即將推出的頁面，還允許您阻止搜索引擎在網站處於維護模式時抓取該網站。

#6.暫存站點

登台站點是用於測試和開發目的的實時網站的副本或複製品。 它允許您在不影響實時版本的情況下在您的網站上進行更改和測試新功能。 當您想要更新您的網站或進行重大更改，但不希望訪問者或搜索引擎在網站運行時看到該網站時，這將非常有用。

許多託管服務提供商提供暫存功能，讓您只需點擊幾下即可創建實時網站的副本。 這通常涉及在您的主域上創建一個單獨的子域或子目錄，您可以在其中訪問暫存站點。 創建暫存站點的過程可能因託管服務提供商而異，但通常涉及幾個簡單的步驟，例如：

  1. 登錄到您的託管帳戶。
  2. 轉到託管控制面板或 cPanel
  3. 查找“暫存”或“開發”部分。
  4. 從您的託管賬戶的網站列表中選擇您的網站。
  5. 單擊“創建暫存站點”按鈕。

創建暫存站點後，您將能夠使用與實際站點不同的 URL 訪問它，例如“staging.yourdomain.com”。 然後，您可以在暫存站點上進行更改和測試新功能，而不會影響實時版本。

請務必注意，搜索引擎將無法抓取暫存站點，因為它通常會被阻止編入索引。 這意味著暫存站點對搜索引擎不可見，也​​不會影響實時站點的 SEO。 您還可以阻止搜索引擎使用 robots.txt 文件或使用插件來管理對您網站的訪問，例如“由 SeedProd 提供的即將推出的頁面和維護模式”或“由 Yoast 提供的 WordPress SEO”，以便搜索引擎無法訪問正在開發中的網站。

在暫存站點上完成更改和測試後，您可以將更改推送到實時站點。 這可以通過使用您用於創建暫存站點的相同插件或通過手動將更改上傳到實時站點來完成。

登台站點是實時站點的複製品，用於在安全環境中測試和開發更改，可用於阻止搜索引擎抓取站點，並允許您在更改上線之前對其進行測試。 許多託管服務提供商將此功能作為內置服務提供。

包起來

總之，有幾種方法可以用來阻止搜索引擎抓取 WordPress 網站，每種方法都有自己的優點和局限性。 這些方法包括使用內置維護模式、robots.txt 文件、插件和創建暫存站點。 這些方法中的每一種都可用於實現不同的目標，例如保護敏感信息的隱私和安全、管理流量和資源、避免重複內容問題以及在將新更改或更新發佈到實時站點之前對其進行測試。 選擇最適合您需要的正確方法並確保您的站點配置正確以防止搜索引擎抓取它是至關重要的。