Как запретить исследовательским машинам сканировать сайт WordPress

Не так давно один из наших сотрудников спросил нас, как они могут запретить поисковым системам сканировать и индексировать свой веб-сайт WordPress.

Существует ряд ситуаций, когда вы хотели бы запретить поисковым системам сканировать вашу веб-страницу и отображать ее в окончательных результатах поиска.

В этой статье мы покажем вам, как запретить поисковым системам сканировать веб-страницу WordPress.

Зачем запрещать поисковым системам сканировать сайт WordPress?

Для большинства интернет-сайтов WordPress поисковые системы являются самым большим ресурсом посетителей. Вы могли бы поговорить, почему все хотят блокировать поисковые системы?

Ниже приведены некоторые условия, при которых поисковые системы не должны индексировать вашу веб-страницу:

• Приступая к работе, вы можете не знать, как создать экологическую среду или тестовую веб-страницу, а вместо этого приобрести свой веб-сайт, даже если он жив. Вы не захотите, чтобы Google индексировал ваш веб-сайт, когда он находится в стадии разработки или обслуживания.

• Есть также довольно много людей, которые используют WordPress для создания частных блогов. Они не хотят, чтобы их индексировали поисковые системы из-за того, что они являются частными.

• Вы можете использовать WordPress для управления заданиями или внутренней сети. В этих обстоятельствах вы не захотите, чтобы ваши внутренние документы были общедоступны.

Распространенным заблуждением является то, что если у вас никогда не будет ссылок, указывающих на ваш домен, то поисковые системы, возможно, никогда не обнаружат ваш веб-сайт. Это не совсем искренне.

Например, могут быть ссылки, указывающие на ваш веб-сайт, потому что имя области ранее принадлежало другому лицу. Кроме того, во всемирной паутине существует бесчисленное количество веб-страниц, на которых в основном перечислены доменные имена. Ваша веб-страница может появиться только на одном из них.

После того, как это стало известно, давайте посмотрим, как запретить поисковым машинам сканировать ваш сайт. Защитим 4 процедуры:

Подход 1: Просим поисковые системы не сканировать ваш сайт WordPress

Это самая простая стратегия, но она не полностью защищает ваш веб-сайт от сканирования.

WordPress будет поставляться со встроенным атрибутом, который позволит вам запретить поисковым системам индексировать ваш веб-сайт. Все, что вам нужно сделать, это зайти в « Параметры» »Прочитать и посмотреть на поле рядом с «Видимость в поисковых системах».

Когда этот флажок установлен, WordPress добавляет эту строку в заголовок вашего веб-сайта:

WordPress также изменяет файл robots.txt вашего сайта и добавляет в него следующие штаммы:

Person-agent: *
Disallow: /

Эти штаммы проверяют роботов (интернет-сканеры), чтобы не индексировать ваши веб-страницы. Тем не менее, абсолютно необходимо искать механизмы, чтобы подтвердить этот запрос или проигнорировать его. Несмотря на то, что большинство поисковых систем уважают это, существует вероятность того, что некоторые интернет-страницы или изображения с вашего веб-сайта могут быть проиндексированы.

Если вы хотите, чтобы поисковые системы не могли индексировать или сканировать ваш сайт, вам нужно будет защитить паролем свой веб-сайт WordPress, используя методы 3 или 4.

Процесс 2: поиск поисковых систем, которые не будут сканировать личные веб-страницы

Вы можете захотеть, чтобы поисковые системы сканировали и индексировали ваш веб-сайт, но не включали определенные сообщения или веб-страницы в веб-страницы конечных результатов поиска.

Наименее трудный способ сделать это применение плагина All in A Single Web Optimization (AIOSEO). Это самый эффективный инструмент позиционирования веб-сайтов для WordPress, которому доверяют более 3 миллионов организаций.

В этом руководстве мы будем работать с бесплатной версией AIOSEO, поскольку она состоит из программного обеспечения для анализа веб-оптимизации. Существует также высококачественная версия AIOSEO, в которой есть гораздо больше функций, таких как оборудование карты сайта, менеджер перенаправления, разметка схемы, редактор robots.txt и многое другое.

Для начала вам нужно будет установить и активировать плагин AIOSEO на вашем веб-сайте. Вы можете освоить установку и настройку плагина, следуя нашему пошаговому руководству о том, как настроить поисковую оптимизацию All in 1 для WordPress.

Во время установки плагина вы можете использовать его, чтобы запретить поисковым системам индексировать определенные сообщения и интернет-страницы. Еще раз, это абсолютно зависит от поиска двигателей, которые признают этот запрос или проигнорируют его.

Просто отредактируйте отправку или веб-страницу, которую вы не хотите индексировать. Вы хотите прокрутить вниз до настроек AIOSEO в нижней части редактора WordPress, а затем нажать на вкладку «Дополнительно».

Обратите внимание, что в публикации используются настройки robots по умолчанию. Чтобы настроить это, вы хотите переключить переключатель «Использовать настройки по умолчанию» в положение «Выкл.».

Теперь вы можете установить флажок «Без индекса». Когда сообщение будет опубликовано или обновлено, поисковым системам будет предложено не индексировать его.

Способ 3: Сохранение пароля для всего интернет-сайта с использованием cPanel

Если ваш поставщик веб-хостинга WordPress предоставляет cPanel доступ для управления вашей учетной записью веб-хостинга, вы можете защитить всю свою веб-страницу, работая с cPanel. Все, что вам нужно сделать, это войти в свою панель управления cPanel, а затем щелкнуть значок «Конфиденциальность каталога» в сегменте «Файлы».

Далее вам нужно найти папку, в которой вы установили WordPress. Обычно это папка public_html. После этого вам нужно будет нажать кнопку «Изменить» рядом с этой папкой.

Это дает вам экран дисплея, где вы можете преобразовать безопасность пароля.

Просто установите флажок «Защитить этот каталог паролем» и просто нажмите кнопку «Сохранить». Если хотите, вы также можете настроить идентификатор для защищенного списка.

Вы увидите подтверждающее сообщение о том, что права доступа к списку были улучшены.

Далее необходимо нажать на кнопку «Вернуться».

Вы попадете на экран, где вы можете ввести имя пользователя и пароль, которые необходимо будет использовать при доступе к этому списку.

Вам необходимо ввести имя пользователя и пароль, а затем подтвердить пароль. Обязательно запишите свое имя пользователя и пароль в надежном месте, например в приложении для управления паролями.

В то время, когда вы нажимаете кнопку «Сохранить», вы успешно установили дополнительную защиту паролем для своего веб-сайта WordPress.

Теперь всякий раз, когда потребитель или пользователь, ищущий двигатель, посещает ваш веб-сайт, им будет предложено ввести имя пользователя и пароль, которые вы создали перед просмотром веб-сайта.

Способ 4: Защита WordPress паролем с помощью плагина

Если вы используете управляемый альтернативный интернет-хостинг WordPress, у вас может не быть доступа к cPanel. В этом случае вы можете использовать плагин WordPress для защиты вашего сайта паролем.

В этой статье представлены два самых популярных варианта:

1. SeedProd — это быстро развивающийся плагин № 1 для метода обслуживания для WordPress, который применяется на более чем 800 000 веб-сайтов. Он будет поставляться с комплексными функциями управления доступом и разрешениями, которые вы можете использовать, чтобы скрыть свой веб-сайт от всех, включая поисковые системы. У нас есть пошаговое руководство для SeedProd.
2. Password Secured — это действительно несложный способ защитить паролем ваш сайт WordPress с помощью одного пароля (не требуется генерация пользователей). Ознакомьтесь с нашим пошаговым руководством о том, как защитить паролем веб-страницу WordPress.

Мы надеемся, что эта короткая статья помогла вам избавиться от поисковых систем, сканирующих или индексирующих ваш сайт WordPress. Вы также можете узнать, как повысить общую производительность вашего веб-сайта, или ознакомиться с нашим лучшим руководством по безопасности WordPress для новичков.

Если вам понравилась эта статья, не забудьте подписаться на наш канал YouTube для видеоуроков по WordPress. Вы также можете получить нас на Twitter и Facebook.