如何阻止研究引擎抓取 WordPress 网站

不久前，我们的一位员工问我们如何阻止搜索引擎抓取和索引他们的 WordPress 网站。

在许多情况下，您可能希望阻止查找引擎抓取您的网页并将其列在查找最终结果中。

在本文中，我们将向您展示如何阻止搜索引擎抓取 WordPress 网页。

为什么要阻止搜索引擎抓取 WordPress 网站？

对于大多数 WordPress 网站，查找引擎是最大的访问者资源。 你可以谈谈，为什么每个人都想阻止查找引擎？

以下是您不希望搜索引擎为您的网页编制索引的一些情况：

• 刚开始时，您可能不知道如何创建社区改善自然环境或暂存页面，而是获取您的网站，即使它是活的。 当您的网站处于建设中或维护模式时，您不希望 Google 为您的网站编制索引。

• 也有不少人使用WordPress来制作私人博客。 由于它们是私有的，他们不希望它们被查找引擎索引。

• 您可以使用 WordPress 进行作业管理或内部网。 在这些情况下，您不会希望公开访问您的内部文件。

一个普遍的误解是，如果您从来没有指向您的域的链接，那么查找引擎可能永远不会发现您的网站。 这不是绝对真实的。

例如，可能有指向您网站的链接，因为该域名以前由其他人所有。 此外，万维网上有无数网页基本上列出了域名。 您的网页可能只出现在其中一个上。

有了这个声明，让我们看看如何阻止搜索引擎抓取您的网站。 我们将保护 4 个程序：

方法 1：要求查找引擎不要抓取您的 WordPress 网站

这是最简单的策略，但不能绝对保护您的网站不被抓取。

WordPress 将带有一个内置属性，使您可以指示搜索引擎不要为您的网站编制索引。 您要做的就是停在选项 » 通读并查看“搜索引擎可见性”旁边的框。

选中此框后，WordPress 会在您网站的标题中提供此行：

WordPress 还会修改您网站的 robots.txt 文件并将这些菌株添加到其中：

Person-agent: *
Disallow: /

这些菌株检查机器人（互联网爬虫）不会为您的网页编制索引。 然而，完全取决于引擎是否确认此请求或忽略它。 尽管大多数搜索引擎都尊重这一点，但您网站上的某些网页或视觉效果仍有可能被编入索引。

如果您想让研究引擎无法索引或抓取您的网站，那么您将需要使用方法 3 或 4 来保护您的 WordPress 网站。

流程二：查询寻找不抓取个人网页的引擎

您可能希望查找引擎对您的网站进行爬网和索引，但不将特定帖子或网页合并到查找结果页面中。

最简单的方法是应用 All in A single Web optimization (AIOSEO) 插件。 它是最有效的 WordPress 网站定位工具，受到超过 300 万组织的信赖。

对于本教程，我们将使用 AIOSEO 免费版，因为它包含 Web 优化分析软件。 还有一个高质量版本的 AIOSEO，具有更多功能，如站点地图工具、重定向管理器、模式标记、robots.txt 编辑器等。

首先，您需要做的是在您的网站上安装并激活 AIOSEO 插件。 您可以按照我们关于如何为 WordPress 建立多合一搜索引擎优化的分步手册来掌握如何设置和配置插件。

在设置插件时，您可以使用它来请求搜索引擎不要索引指定的帖子和网页。 再一次，完全取决于搜索引擎是否接受此请求或忽略它。

只需编辑您不想被编入索引的提交或网页即可。 您想向下滚动到 WordPress 编辑器底部的 AIOSEO 设置，然后单击“高级”选项卡。

请注意，帖子使用的是默认机器人设置。 要对此进行调整，您需要将“使用默认设置”开关切换到关闭位置。

现在您可以单击“无索引”复选框。 当帖子发布或更新时，研究引擎将被质疑不将其编入索引。

方法 3：使用 cPanel 保留整个 Internet 站点的密码

如果您的 WordPress 虚拟主机供应商允许 cPanel 访问您的虚拟主机帐户，那么您可以使用 cPanel 保护您的整个页面。 您所要做的就是登录到您的 cPanel 仪表板，然后单击“文件”部分中的“目录隐私”图标。

接下来，您需要找到安装 WordPress 的文件夹。 通常，它是 public_html 文件夹。 之后，您需要单击该文件夹旁边的“编辑”按钮。

这会为您提供一个屏幕，您可以在其中转换密码安全性。

只需选中提示“密码保护此目录”的框，然后单击“保存”按钮即可。 如果愿意，您还可以自定义安全列表的名称。

您将看到一条确认消息，表明该列表的访问权限已得到改进。

接下来，您需要单击“返回”按钮。

您将被带到一个准确的屏幕，您可以在其中设置访问此列表时需要使用的用户名和密码。

您需要输入用户名和密码，然后确认密码。 请务必将您的用户名和密码放在安全的地方，例如密码管理器应用程序。

当您单击“保存”按钮时，您已经成功地为您的 WordPress 网站添加了密码保护。

现在，每当消费者或搜索引擎访问您的网站时，系统都会提示他们输入您之前创建的用户名和密码以查看该网站。

方法 4：使用插件保护 WordPress 密码

如果您使用的是托管 WordPress 托管替代方案，那么您可能无法访问 cPanel。 在这种情况下，您可以使用 WordPress 插件来密码保护您的网站。

在这篇文章中是两个最流行的选择：

1. SeedProd 是排名第一的 WordPress 快速维护方法插件，已应用于超过 800,000 个网站。 它将具有全面的访问管理和权限功能，您可以使用这些功能向包括搜索引擎在内的所有人隐藏您的网站。 我们有一个阶段性的 SeedProd 操作指南。
2. Password Secured 是一种非常简单的密码保护方式，只需一个密码（无需用户生成）即可保护您的 WordPress 网站。 请参阅我们的分步指南，了解如何使用密码保护 WordPress 网页。

我们希望这篇简短的文章能帮助您停止寻找引擎来抓取或索引您的 WordPress 网站。 您可能还想学习如何提高网站的整体性能，或者查看我们针对新手的阶段性 WordPress 安全教程的最大行动。

如果您喜欢这篇文章，请记得订阅我们的 YouTube 频道以获取 WordPress 视频教程。 您也可以在 Twitter 和 Facebook 上找到我们。