Экспертные способы запретить Google индексировать ваш сайт WordPress

Все знают, что Google является ведущей поисковой системой. Но бывают случаи, когда вы не хотите, чтобы ваш сайт WordPress отображался в результатах поиска Google.

Итак, как запретить Google индексировать страницу? Ну, есть разные способы сделать это. Но не все способы подходят для каждого сайта. Какой метод вы выберете, будет зависеть от ваших конкретных целей. В этом сообщении блога мы рассмотрим, как запретить Google индексировать веб-страницу, а также ваш веб-сайт. Но прежде чем знать методы, необходимо также понять, почему люди хотят это делать.

Иногда маркетологи или владельцы веб-сайтов получают органический трафик на страницы, которые не нужно часто посещать . Например, страница «Спасибо», страница «Отмена» и другие менее важные страницы. К сожалению, он уничтожает конкретную цель и сбивает систему сопровождения. Таким образом, будет полезно, если вы заблокируете Google от просмотра этих страниц. Или просто деиндексировать их рекомендуется.

Кроме того, блокирование путей индексации для определенных веб-страниц может улучшить SEO сайта. Если вы получите больше трафика на главных страницах, это повысит рейтинг сайта.

Методы предотвращения Google от индексации вашего сайта WordPress

Вы можете найти популярные и конкретные методы, чтобы запретить Google индексировать веб-сайт WordPress. Первая и основная задача — найти веб-страницы, которые не являются важными. Да, мы время от времени включаем различные типы страниц для организации или оформления нашего веб-сайта. Но не всем из них на самом деле нужен поисковый трафик, как мы обсуждали ранее.

Итак, прежде чем изучать способы запретить Google индексировать WordPress, перечислите страницы. Это поможет вам запретить поисковой системе временно индексировать эти страницы. И, конечно же, вы можете позже расположить их по необходимости. Теперь давайте узнаем, какие приемы следует использовать для управления индексацией веб-сайта.

Редактирование файла Robots.Txt

Редактирование файла robots.txt помогает скрыть веб-страницы от поисковых систем. Или те, кто использует услуги хостинга для обслуживания сайта, могут попросить их изменить его. Это обычный текстовый файл, который поддерживает стандарт исключения роботов. Вы можете найти файл robots.txt в корневом домене вашего сайта. Вы также можете отредактировать этот файл самостоятельно и дать разрешение или заблокировать любому сканеру список вашего домена или поддомена.

Чтобы применить этот метод, скачайте копию файла robots.txt, отредактируйте его, а затем снова загрузите в корневой домен . Файл может содержать одну или несколько инструкций. Например, вы можете запретить агенту Google сканировать любой URL-адрес, используя это,

 User-agent: Googlebot Disallow: /nogooglebot/

Таким образом, вы также можете запретить другим агентам индексировать страницу и веб-сайт. Помните, что вам нужно создать файл с именем robots.txt. И на вашем сайте должен быть только один файл robots.txt. Есть и другие правила; Вы можете проверить детали здесь.

Применение инструментов Google для веб-мастеров

Эта система поддерживает блокировку страницы или URL-адреса на фиксированный период. Люди знают, что Google Search Console также помогает поддерживать сайт во многих аспектах. Вы можете легко запретить Google индексировать ваш сайт с помощью инструмента удаления URL-адресов. Чтобы применить этот метод, проверьте следующие вещи:

• Убедитесь, что ваш URL размещен в свойстве Search Console.
• Выберите «Временно скрыть» и добавьте URL-адрес страницы.
• Затем выберите «Очистить URL-адрес из кеша» и удалите его из поиска. Вы можете легко скопировать и вставить URL-адрес страницы. Но иногда некоторые вложенные URL-адреса страниц могут запутать процесс. Например, URL-адреса нескольких сообщений могут указывать на одну и ту же страницу, например:

 http://www.example.com/greenery/thread/007 http://www.example.com/greenery/post/156 http://www.example.com/greenery/thread/007?post=156

Решение состоит в том, что вы должны отправить дополнительные запросы на удаление. Для каждого контента, который вы видите, вы будете отправлять запрос на удаление.

Применение Noindex

Вы можете применить этот метод двумя способами . Во-первых, изучите реализацию ниже и выберите любой метод в соответствии с вашим удобством.

Метатег

Есть также два способа использования метатега. Чтобы большинство поисковых систем не индексировали страницу, просто поместите следующий метатег в часть <head> вашей страницы:

 <meta name="robots" content="noindex">

И если вы хотите запретить индексацию страницы только поисковыми роботами Google, используйте

 <meta name="googlebot" content="noindex">

Кроме того, вы можете предотвратить попадание страницы в список, добавив метатег nofollow . Достаточно просто указать ссылку-

 <a href="example.html" rel="nofollow" />

Кроме того, вы можете добавить его на все страницы, чтобы Google не индексировал ваш сайт.

 <meta name="googlebot" content="noindex, nofollow">

HTTP-заголовок X-Robots-Tag

Это альтернативный способ использования метатегов. Вы можете выбрать метатег или этот X-Robots-Tag. Вы можете выбрать X-Robots-Tag для любого URL-адреса, чтобы он работал как инструкция заголовка HTTP. Используя этот простой метод, вы можете запретить Google индексировать файлы, отличные от HTML. Файлы изображений, видео, PDF-файлы и т. д. не являются файлами HTML. Директива метатега robots работает так же и для X-Robots-Tag. HTTP-заголовок X-Robots-Tag может иметь инструкцию noindex или none , выглядя следующим образом:

 HTTP/1.1 200 OK Date: Wed, 14 August 2022 20:42:40 GMT (…) X-Robots-Tag: noindex (…)

Если вы не хотите, чтобы Google создавал кешированную страницу, примените этот код noarchive X-Robots-Tag с unavailable_after X-Robots-Tag.

 HTTP/1.1 200 OK Date: Wed, 14 August 2022 20:42:40 GMT (…) X-Robots-Tag: noarchive X-Robots-Tag: unavailable_after: 25 Jun 2010 15:00:00 PST (…)

Опять же, вы можете задать условия для набора X-Robots-Tag, чтобы сделать страницу видимой. И это может работать для разных поисковых систем.

Остановить вручную с панели управления

Многие люди не знают, что предотвратить ранжирование сайта поисковыми системами также можно с помощью панели управления WordPress. Возможно, многие из вас видят эту опцию, но точно не знают ее назначения. Например, если ваш веб-сайт новый, у вас есть много задач, которые нужно закончить в последнюю минуту, и вам нужно время. В этом случае вы не захотите, чтобы поисковые системы отображали этот сайт. Значит, этот способ вам подходит.

Доступ к вашей панели управления: Настройки → Чтение → Найти Видимость в поисковых системах → Сделать Установите флажок

Эта небольшая задача может сохранить конфиденциальность вашего контента. На самом деле он изменяет файл robots.txt и иногда добавляет в заголовок соответствующий метатег. Таким образом, установка флажка не позволяет Google идентифицировать сайт.

Частично эффективный способ — не использовать карту сайта или запретить ее индексацию Google

Карта сайта помогает роботу Googlebot идентифицировать страницы и ранжировать сайт WordPress. Он содержит все URL-адреса страниц сайта. Кроме того, в процессе сканирования поисковыми системами карты сайта помогают находить новые страницы. Таким образом, у поисковой системы мало шансов пропустить какой-либо контент. Если вы хотите, чтобы поисковые системы какое-то время пропускали ваш новый сайт, не добавляйте XML_sitemap.

Однако карты сайта не гарантируют, что Google всегда будет индексировать все страницы. Это зависит и от других вещей. Но вы можете замедлить процесс индексации поисковыми системами, не используя карту сайта.

Опять же, если вы уже включили один или несколько файлов XML_sitemap, вы можете запретить Google индексировать файлы. Вы можете использовать плагин, а также редактировать файл .htaccess вашего сайта.

Использование плагина для предотвращения индексации карты сайта Google. Сегодня существуют разные плагины для SEO. У некоторых есть опции индексации карты сайта, такие как Yoast SEO, Rank Math и другие. Если на вашем сайте есть один SEO-плагин, вы можете найти этот параметр и отключить его. См. пример ниже,

Редактирование файла .htaccess для предотвращения индексации карты сайта Google. Вам просто нужно добавить X-Robots-Tag в HTTP-ответы вашего сайта через файлы конфигурации. Вы можете использовать X-Robots-Tag: noindex , чтобы запретить Google индексировать карту сайта.

Для одного файла карты сайта код такой:

 <IfModule mod_rewrite.c> <Files sitemap.xml> Header set X-Robots-Tag "noindex" </Files> </IfModule>

Для более чем одного файла карты сайта код выглядит следующим образом:

 <IfModule mod_rewrite.c> <Files ~ "^(sitemap1|sitemap2|sitemap3)\\.xml$"> Header set X-Robots-Tag "noindex" </Files> </IfModule>

Теперь Google или другие поисковые системы не найдут XML_sitemaps и не проиндексируют его. Поскольку в карте сайта есть URL-адреса всех веб-страниц, скрытие ее от поисковых систем поможет не индексировать сайт.

Как вы можете переиндексировать свой сайт?

Что ж, вы не можете игнорировать важность рейтинга сайта WordPress в Google. Вы должны продвигать свой сайт и привлекать новый трафик. Итак, после завершения оставшихся задач по созданию веб-сайтов и блокировки Google для индексации определенных веб-страниц вам нужно поработать над SEO. А хорошее SEO означает индексацию и переиндексацию веб-страниц.

1. Снимите флажок Видимость для поисковых систем на панели инструментов .
2. Проверьте корневой каталог сайта, если вы по ошибке добавили какую -либо команду Noindex и блокировку Robots.txt на какую-либо важную страницу.
3. Если вы сознательно добавили ботам инструкции не индексировать контент или страницу, а теперь хотите переиндексировать, внимательно повторите пункт два.
4. Добавьте XML_sitemap на свой сайт WordPress.
5. Если вы используете плагин, запрещающий Google индексировать вашу карту сайта, удалите его или включите только параметр индексации XML_sitemap .
6. В Google Search Console есть инструмент проверки URL. Вы можете создать общий отчет по URL, используя его, чтобы проверить, что видит Google. Здесь вы можете проверить конкретный URL-адрес, а также отправить URL-адрес и запросить индекс в Google.
7. Наконец, проводите регулярное и качественное SEO для переиндексированных страниц и увеличьте общий трафик вашего сайта.

Завершающие слова

Вот несколько способов запретить Google индексировать ваш сайт. Выбирайте свой метод с умом и применяйте его к своему сайту WordPress. Однако, как правило, владельцы веб-сайтов изо всех сил пытаются индексировать свои сайты. Люди не понимают, что слишком много SEO — это плохо, и они не должны перебарщивать. Многие люди даже не знают о важности и причинах деиндексации страницы. На самом деле, вы должны запретить поисковым системам иногда индексировать ваш сайт, чтобы получить больше трафика. Однако эта статья посвящена индексации, деиндексации и переиндексации веб-страниц. Надеюсь, вы изучите основные факты и примените их соответствующим образом.