如何阻止研究引擎抓取 WordPress 網站

不久前，我們的一位員工問我們如何阻止搜索引擎抓取和索引他們的 WordPress 網站。

在許多情況下，您可能希望阻止查找引擎抓取您的網頁並將其列在查找最終結果中。

在本文中，我們將向您展示如何阻止搜索引擎抓取 WordPress 網頁。

為什麼要阻止搜索引擎抓取 WordPress 網站？

對於大多數 WordPress 網站，查找引擎是最大的訪問者資源。 你可以談談，為什麼每個人都想阻止查找引擎？

以下是您不希望搜索引擎為您的網頁編制索引的一些情況：

• 剛開始時，您可能不知道如何創建社區改善自然環境或暫存頁面，而是獲取您的網站，即使它是活的。 當您的網站處於建設中或維護模式時，您不希望 Google 為您的網站編制索引。

• 也有不少人使用WordPress來製作私人博客。 由於它們是私有的，他們不希望它們被查找引擎索引。

• 您可以使用 WordPress 進行作業管理或內部網。 在這些情況下，您不會希望公開訪問您的內部文件。

一個普遍的誤解是，如果您從來沒有指向您的域的鏈接，那麼查找引擎可能永遠不會發現您的網站。 這不是絕對真實的。

例如，可能有指向您網站的鏈接，因為該域名以前由其他人所有。 此外，萬維網上有無數網頁基本上列出了域名。 您的網頁可能只出現在其中一個上。

有了這個聲明，讓我們看看如何阻止搜索引擎抓取您的網站。 我們將保護 4 個程序：

方法 1：要求查找引擎不要抓取您的 WordPress 網站

這是最簡單的策略，但不能絕對保護您的網站不被抓取。

WordPress 將帶有一個內置屬性，使您可以指示搜索引擎不要為您的網站編制索引。 您要做的就是停在選項 » 通讀並查看“搜索引擎可見性”旁邊的框。

選中此框後，WordPress 會在您網站的標題中提供此行：

WordPress 還會修改您網站的 robots.txt 文件並將這些菌株添加到其中：

Person-agent: *
Disallow: /

這些菌株檢查機器人（互聯網爬蟲）不會為您的網頁編制索引。 然而，完全取決於引擎是否確認此請求或忽略它。 儘管大多數搜索引擎都尊重這一點，但您網站上的某些網頁或視覺效果仍有可能被編入索引。

如果您想讓研究引擎無法索引或抓取您的網站，那麼您將需要使用方法 3 或 4 來保護您的 WordPress 網站。

流程二：查詢尋找不抓取個人網頁的引擎

您可能希望查找引擎對您的網站進行爬網和索引，但不將特定帖子或網頁合併到查找結果頁面中。

最簡單的方法是應用 All in A single Web optimization (AIOSEO) 插件。 它是最有效的 WordPress 網站定位工具，受到超過 300 萬組織的信賴。

對於本教程，我們將使用 AIOSEO 免費版，因為它包含 Web 優化分析軟件。 還有一個高質量版本的 AIOSEO，具有更多功能，如站點地圖工具、重定向管理器、模式標記、robots.txt 編輯器等。

首先，您需要做的是在您的網站上安裝並激活 AIOSEO 插件。 您可以按照我們關於如何為 WordPress 建立多合一搜索引擎優化的分步手冊來掌握如何設置和配置插件。

在設置插件時，您可以使用它來請求搜索引擎不要索引指定的帖子和網頁。 再一次，完全取決於搜索引擎是否接受此請求或忽略它。

只需編輯您不想被編入索引的提交或網頁即可。 您想向下滾動到 WordPress 編輯器底部的 AIOSEO 設置，然後單擊“高級”選項卡。

請注意，帖子使用的是默認機器人設置。 要對此進行調整，您需要將“使用默認設置”開關切換到關閉位置。

現在您可以單擊“無索引”複選框。 當帖子發布或更新時，研究引擎將被質疑不將其編入索引。

方法 3：使用 cPanel 保留整個 Internet 站點的密碼

如果您的 WordPress 虛擬主機供應商允許 cPanel 訪問您的虛擬主機帳戶，那麼您可以使用 cPanel 保護您的整個頁面。 您所要做的就是登錄到您的 cPanel 儀表板，然後單擊“文件”部分中的“目錄隱私”圖標。

接下來，您需要找到安裝 WordPress 的文件夾。 通常，它是 public_html 文件夾。 之後，您需要單擊該文件夾旁邊的“編輯”按鈕。

這會為您提供一個屏幕，您可以在其中轉換密碼安全性。

只需選中提示“密碼保護此目錄”的框，然後單擊“保存”按鈕即可。 如果願意，您還可以自定義安全列表的名稱。

您將看到一條確認消息，表明該列表的訪問權限已得到改進。

接下來，您需要單擊“返回”按鈕。

您將被帶到一個準確的屏幕，您可以在其中設置訪問此列表時需要使用的用戶名和密碼。

您需要輸入用戶名和密碼，然後確認密碼。 請務必將您的用戶名和密碼放在安全的地方，例如密碼管理器應用程序。

當您單擊“保存”按鈕時，您已經成功地為您的 WordPress 網站添加了密碼保護。

現在，每當消費者或搜索引擎訪問您的網站時，系統都會提示他們輸入您之前創建的用戶名和密碼以查看該網站。

方法 4：使用插件保護 WordPress 密碼

如果您使用的是託管 WordPress 託管替代方案，那麼您可能無法訪問 cPanel。 在這種情況下，您可以使用 WordPress 插件來密碼保護您的網站。

在這篇文章中是兩個最流行的選擇：

1. SeedProd 是排名第一的 WordPress 快速維護方法插件，已應用於超過 800,000 個網站。 它將具有全面的訪問管理和權限功能，您可以使用這些功能向包括搜索引擎在內的所有人隱藏您的網站。 我們有一個階段性的 SeedProd 操作指南。
2. Password Secured 是一種非常簡單的密碼保護方式，只需一個密碼（無需用戶生成）即可保護您的 WordPress 網站。 請參閱我們的分步指南，了解如何使用密碼保護 WordPress 網頁。

我們希望這篇簡短的文章能幫助您停止尋找引擎來抓取或索引您的 WordPress 網站。 您可能還想學習如何提高網站的整體性能，或者查看我們針對新手的階段性 WordPress 安全教程的最大行動。

如果您喜歡這篇文章，請記得訂閱我們的 YouTube 頻道以獲取 WordPress 視頻教程。 您也可以在 Twitter 和 Facebook 上找到我們。