WordPress robots.txt

WordPress robots.txt est très important pour le référencement. Pour être sûr que votre site est bien classé dans les résultats des moteurs de recherche, vous devez rendre ses pages les plus importantes pratiques pour la recherche et l'indexation des "robots" ("bots") des moteurs de recherche. Un fichier robots.txt bien structuré aidera à diriger ces robots vers les pages que vous souhaitez indexer.

Dans cet article, nous allons révéler ces questions:

• Qu'est-ce qu'un fichier robots.txt et pourquoi est-il important ?
• Emplacement du txt des robots WordPress
• Meilleurs robots txt pour WordPress
• Comment créer un fichier robots.txt
• Comment vérifier le fichier robots.txt et l'envoyer à la console de recherche Google.

Qu'est-ce qu'un fichier robots.txt pour WordPress et pourquoi est-il important ?

Lorsque vous créez un nouveau site Web, les moteurs de recherche enverront leurs robots pour scanner et créer une carte de toutes ses pages. De cette façon, ils sauront quelles pages afficher comme résultat lorsque quelqu'un recherche des mots-clés pertinents. Au niveau de base, c'est assez simple (consultez également cet article utile - fichier .htaccess par défaut de WordPress).

Le problème est que les sites Web modernes contiennent de nombreux autres éléments en plus des pages. WordPress permet d'installer, par exemple, des plugins qui ont souvent leurs propres répertoires. Il n'est pas nécessaire de l'afficher dans les résultats de recherche, car ils ne correspondent pas au contenu.

Le fichier robots.txt fournit un ensemble de directives pour les robots de recherche. Il leur dit : "Regardez ici et indexez ces pages, mais n'entrez pas dans d'autres domaines !". Ce fichier peut être aussi détaillé que vous le souhaitez et il est très facile à créer, même si vous êtes débutant.

En pratique, les moteurs de recherche analyseront toujours votre site, même si vous ne créez pas de fichier robots.txt. Cependant, ne pas le créer est une étape très irrationnelle. Sans ce fichier, vous laissez les robots indexer tout le contenu de votre site et ils décident que vous devez afficher toutes les parties de votre site, même celles que vous souhaitez masquer de l'accès public (vérifiez également les – Meilleurs plugins de commerce électronique WordPress ).

Un point plus important, sans un fichier robots.txt, votre site Web aura beaucoup de visites des robots de votre site. Cela affectera négativement ses performances. Même si la fréquentation de votre site est encore faible, la vitesse de chargement des pages est quelque chose qui doit toujours être prioritaire et au plus haut niveau. En fin de compte, il n'y a que quelques choses que les gens n'aiment pas plus que le chargement lent des sites Web.

Emplacement du txt des robots WordPress

Lorsque vous créez un site Web WordPress, un fichier robots.txt est automatiquement créé et situé dans votre répertoire principal sur le serveur. Par exemple, si votre site se trouve ici – wpdevart.com, vous pouvez le trouver sur wpdevart.com/robots.txt et voir quelque chose comme ceci :

Ceci est un exemple du fichier robots.txt le plus simple. Traduisant dans un langage lisible par l'homme, le côté droit après l'agent utilisateur : déclare
pour quels robots les règles sont. Un astérisque signifie que la règle est universelle et s'applique à tous les robots. Dans ce cas, le fichier indique aux robots qu'ils ne peuvent pas analyser les répertoires wp-admin et wp-includes. La signification de ces règles est que ces répertoires contiennent de nombreux fichiers qui nécessitent une protection contre l'accès public (consultez également notre plugin WordPress Countdown).

Bien sûr, vous pouvez ajouter plus de règles à votre fichier. Avant de faire cela, vous devez comprendre qu'il s'agit d'un fichier virtuel. Habituellement, WordPress robots.txt est situé dans le répertoire racine, qui est souvent appelé public_html ou www (ou par le nom de votre site Web) :

A noter que le fichier robots.txt pour WordPress, créé par défaut, ne vous est accessible depuis aucun répertoire. Cela fonctionne, mais si vous souhaitez apporter des modifications, vous devez créer votre propre fichier et le télécharger dans le répertoire racine.

Nous examinerons plusieurs façons de créer un fichier robots.txt pour WordPress. Voyons maintenant comment déterminer les règles à inclure dans le fichier.

Meilleurs robots txt pour WordPress

Il n'est pas si difficile de créer le meilleur txt de robots pour votre site Web WordPress. Alors, quelles règles doivent être incluses dans le fichier robots.txt. Dans la section précédente, nous avons vu un exemple de fichier robots.txt généré par WordPress. Il ne comprend que deux règles courtes, mais pour la plupart des sites, elles suffisent. Examinons deux fichiers robots.txt différents et voyons ce que chacun fait.

Voici notre premier exemple de fichier WordPress robots.txt :

 User-agent: * Allow: / # Disallowed Sub-Directories Disallow: / payout / Disallow: / photos / Disallow: / forums /

Ce fichier robots.txt est créé pour le forum. Les moteurs de recherche indexent généralement chaque fil du forum. Selon le sujet de votre forum, vous souhaiterez peut-être interdire l'indexation. Par exemple, Google n'indexera pas des centaines de courtes discussions d'utilisateurs. Vous pouvez également définir des règles pointant vers un fil de discussion spécifique afin de l'exclure et permettre aux moteurs de recherche d'indexer le reste.

Vous remarquez également une ligne qui commence par Autoriser : / en haut du fichier. Cette ligne indique aux robots qu'ils peuvent analyser toutes les pages de votre site, à l'exception des restrictions définies ci-dessous. Vous avez également remarqué que nous définissons ces règles comme étant universelles (avec un astérisque), comme c'était le cas dans le fichier robots.txt virtuel de WordPress (vous pouvez également consulter notre plugin WordPress Pricing table).

Voyons un autre exemple de fichier WordPress robots.txt :

 User-agent: * Disallow: / wp-admin / Disallow: / wp-includes / User-agent: Bingbot Disallow: /

Dans ce fichier, nous définissons les mêmes règles qui s'appliquent à WordPress par défaut. Bien que nous ajoutions également un nouvel ensemble de règles qui empêchent les robots de recherche Bing d'explorer notre site. Bingbot, comme vous pouvez le voir, est le nom du robot.

Vous pouvez saisir d'autres noms de moteurs de recherche pour restreindre/autoriser également leur accès. En pratique, bien sûr, Bingbot est très bon (même s'il n'est pas aussi bon que Googlebot). Cependant, il existe de nombreux robots malveillants.

La mauvaise nouvelle est qu'ils ne suivent pas toujours les instructions du fichier robots.txt (ils fonctionnent toujours comme des terroristes). Il convient de garder à l'esprit que, bien que la plupart des robots utilisent les instructions fournies dans ce fichier, vous ne pouvez pas les forcer à le faire.

Si vous approfondissez le sujet, vous trouverez de nombreuses suggestions sur ce qu'il faut autoriser et ce qu'il faut bloquer sur votre site WordPress. Bien que, d'après notre expérience, moins de règles soient souvent meilleures. Voici un exemple de
meilleurs robots txt pour le site Web WordPress, mais pour différents sites Web, cela peut être différent :

 User-agent: * Disallow: /cgi-bin Disallow: /? Disallow: /wp- Disallow: /wp/ Disallow: *?s= Disallow: *&s= Disallow: /search/ Disallow: /author/ Disallow: /users/ Disallow: */trackback Disallow: */feed Disallow: */rss Disallow: */embed Disallow: */wlwmanifest.xml Disallow: /xmlrpc.php Disallow: *utm*= Disallow: *openstat= Allow: */uploads Sitemap: https://wpdevart.com/sitemap.xml

Traditionnellement, WordPress aime fermer les répertoires wp-admin et wp-includes. Cependant, ce n'est plus la meilleure solution. De plus, si vous ajoutez des balises méta à vos images dans un but de promotion (SEO), cela ne sert à rien de dire aux robots de ne pas indexer le contenu de ces répertoires.

Le contenu de votre fichier robots.txt dépendra des besoins de votre site. Alors n'hésitez pas à faire plus de recherches !

Comment créer un fichier robots.txt

Quoi de plus simple que de créer un fichier texte (txt). Tout ce que vous avez à faire est d'ouvrir votre éditeur préféré (comme Notepad ou TextEdit) et d'entrer quelques lignes. Ensuite, vous enregistrez le fichier en utilisant les robots et l'extension txt (robots.txt). Cela prendra quelques secondes, vous pouvez donc créer un fichier robots.txt pour WordPress sans utiliser de plugin.

Nous avons enregistré ce fichier localement sur l'ordinateur. Une fois que vous avez créé votre propre fichier, vous devez vous connecter à votre site via FTP (peut-être avec FileZilla).

Après vous être connecté à votre site, rendez-vous dans le répertoire public_html. Maintenant, tout ce que vous avez à faire est de télécharger le fichier robots.txt de votre ordinateur vers le serveur. Vous pouvez le faire soit en cliquant avec le bouton droit de la souris sur le fichier dans le navigateur FTP local, soit simplement en le faisant glisser à l'aide de votre souris.

Cela ne prend que quelques secondes. Comme vous pouvez le voir, cette méthode est plus facile que d'utiliser le plugin.

Comment vérifier WordPress robots.txt et l'envoyer à la Google Search Console

Une fois votre fichier WordPress robots.txt créé et téléchargé, vous pouvez vérifier les erreurs dans la console de recherche Google. La Search Console est un ensemble d'outils Google conçus pour vous aider à suivre la façon dont votre contenu apparaît dans les résultats de recherche. L'un de ces outils vérifie robots.txt, vous le trouverez facilement sur la page d'administration des outils Google pour les webmasters (consultez également Les 50 meilleurs plugins WordPress 2020).

Vous y trouverez le champ de l'éditeur où vous pouvez ajouter le code de votre fichier WordPress robots.txt, puis cliquez sur Soumettre dans le coin inférieur droit. La console de recherche Google vous demandera si vous souhaitez utiliser le nouveau code ou télécharger un fichier depuis votre site Web.

Maintenant, la plate-forme vérifiera votre fichier pour les erreurs. Si une erreur est détectée, des informations à ce sujet vous seront présentées. Vous avez vu quelques exemples du fichier robots.txt de WordPress, et maintenant vous avez encore plus de chances de créer votre fichier robots.txt parfait !