Apprenez à optimiser correctement votre fichier WordPress robots.txt pour le référencement
WordPress robots.txt Le fichier est un fichier important pour les efforts de référencement de votre site Web. Cela peut avoir un impact puissant sur l'index / le désindexage de pages particulières de votre site Web. Google a beaucoup évolué sur la manière dont il explore le Web et vous fournit des résultats de recherche. Les meilleures pratiques d’il ya quelques années ne fonctionnent souvent plus. Cet article explique comment optimiser votre WordPress. robots.txt fichier pour un meilleur référencement.
Quel est robots.txt Fichier?
Dans le monde d'Internet, les robots sont de petits logiciels qui visitent des sites Web sur Internet. L'exemple le plus courant est celui des robots des moteurs de recherche. Ces robots des moteurs de recherche «explorent» / analysent le Web pour aider les moteurs de recherche à organiser leurs données. Les moteurs de recherche tels que Google utilisent ces robots pour indexer et classer votre site Web par rapport à des milliards de pages sur Internet.
robots.txt est un fichier texte qui détermine ce que les moteurs de recherche peuvent indexer sur votre site.
Les bots sont donc une bonne chose pour Internet. Cependant, vous pensez peut-être à vous-même, si les bots sont géniaux, pourquoi devrais-je me soucier de WordPress? robots.txt déposer quand même?
Les chercheurs ont découvert la nécessité de contrôler la manière dont les robots manipulent les sites Web. Cela a conduit à la création du norme d'exclusion des robots au milieu des années 1990. robots.txt fichier est l'application de cette norme.
le robots.txt fichier vous permet de contrôler la façon dont les robots peuvent interagir avec votre site. C'est un fichier texte que vous pouvez créer dans votre dossier racine pour que les moteurs de recherche sachent ce que vous autorisez à indexer. Vous pouvez activer l’accès à toutes les pages de votre site Web en accordant un accès illimité à des bots, bloquer totalement ou restreindre l’accès des robots à des pages individuelles et à des sous-répertoires de votre site Web.
Si vous souhaitez limiter l'accès des robots malveillants à vos sites Web, vous pouvez utiliser des services de solutions de sécurité tels que Cloudflare ou Incapsule peut être utile.
Pourquoi devriez-vous avoir un robots.txt Fichier?
Eh bien, c’est évident. robots.txt joue un rôle crucial dans le référencement. Un de nos lecteurs a demandé quelle est robots.txt en référencement afin que nous exposions également la réponse.
- L'un des avantages importants de
robots.txtfichier est que vous pouvez commander les moteurs de recherche pour analyser les ressources ce que tu veux. Vous pouvez écrire des règles que vous ne souhaitez pas explorer. Cela aide à garantir que les moteurs de recherche peuvent indexer le contenu qui vous tient à cœur. - Optimiser les ressources du serveur en bloquant les robots malveillants susceptibles de gaspiller des ressources informatiques sur votre serveur.
En interdisant les pages supplémentaires, vous pouvez utiliser efficacement votre quota d'analyse. Cela aide les moteurs de recherche à explorer uniquement les pages sélectionnées sur votre site et à les indexer dès que possible.
Quel est le meilleur robots.txt Fichier?
Vous pouvez suivre quelques formats. De plus, vous pouvez utiliser un robots.txt Générateur aussi. Après avoir généré, vous devez vous assurer de télécharger le robots.txt fichier à la racine (dossier public_html dans le cas d'hébergement cPanel)
WordPress idéal robots.txt – Exemple 1
Agent utilisateur: *
Refuser:
Plan du site: http://www.example.com/sitemap_index.xml- Ce plan du site permet à chaque bot.
- N'interdit aucun bot.
- Donne un lien vers le plan du site du site. Voici la
robots.txtfichier que nous utilisons.
Le lien Sitemap joue un rôle important dans la présence globale de votre site Web dans le domaine du référencement, comme indiqué dans notre Guide de référencement WordPress.
Vous pouvez également utiliser des balises interdites, comme ci-dessous, pour limiter l'accès à des pages individuelles de votre site Web.
Interdit: / wp-admin /
Interdit: /wp-login.phpWordPress optimal robots.txt – Exemple n ° 2
Voici un autre WordPress idéal robots.txt déposer pour votre commodité. Ce sitemap restreint l'accès aux principaux dossiers de WordPress, mais permet d'indexer toutes les autres pages de couverture. Liens également plan du site pour la commodité du moteur de recherche.
Agent utilisateur: *
Interdit: / wp-admin /
Interdit: / wp-includes /
Autoriser: /wp-admin/admin-ajax.php
Sitemap: https://example.com/sitemap_index.xmlComment créer différentes règles pour différents robots dans robots.txt
Vous pouvez créer différentes règles pour différents robots. Par exemple, si vous souhaitez que seuls les robots Google accèdent à certaines parties de la page, vous pouvez le spécifier. Si vous bloquez Google Bot et autorisez bing bot, vous pouvez également le faire.
Vous pouvez spécifier des règles sous le Agent utilisateur déclaration pour chaque bot. Par exemple, si vous voulez créer une règle qui s'applique à tous les bots et une autre règle qui s'applique à juste Googlebot, vous pourriez le faire comme ceci:
Agent utilisateur: *
Interdit: / wp-admin /
Agent utilisateur: Googlebot
Interdit: /Ici,
- * signifie pour tout bot. (* est utilisé dans Expression régulière ainsi que). Quoi que vous écriviez pour user-agent: * sera appliqué à tous les robots.
- Agent utilisateur: Googlebot spécifie l'agent utilisateur. Quelles que soient les règles que vous ajoutez ici, elles ne seront appliquées qu'à Googlebot.
Comment tester si votre robots.txt Travail?
Après avoir placé votre robots.txt fichier dans votre répertoire racine, vous devez vérifier plusieurs fois pour vous assurer que le fichier fonctionne comme prévu. Je vais montrer deux méthodes différentes pour tester votre robots.txt fichier.
Vérifiez WordPress robots.txt de /robots.txt
- Si le nom de votre site Web est exemple.com, vous devriez pouvoir accéder à votre
robots.txtfichier de example.com/robots.txt. S'il ne se charge pas, vous ne chargez pas le fichier au bon endroit. - Si vous découvrez que le fichier se charge correctement dans le navigateur, vous pouvez vous assurer à moitié qu'il fonctionne. Mais vous devez également vous assurer que Google reçoit une réponse HTTP appropriée.
- Encore une fois, accédez au site Web de votre site.
robots.txtURL et presse Ctrl +Shif +J ouvrir la console. Cliquez sur "Réseau". Et rechargez votre site Web.
Vérifier robots.txt
robots.txt- Se connecter à Console de recherche Google
- Accédez à l'ancienne version de l'outil et sous Explorer → Récupérer en tant que Google, utilisez l'option Extraire et restituer:
Cliquez et récupérez et rendez et remarquez s'il y a des problèmes.
En terminant sur robots.txt
robots.txt aidez les moteurs de recherche à bien comprendre votre site Web. Google évolue rapidement vers un avenir propulsé par l'IA. le les progrès de l'IA va à une vitesse rapide. Google développe progressivement son algorithme de recherche en utilisant l'IA et l'apprentissage automatique.
robots.txt peut aider les moteurs de recherche à prendre de meilleures décisions. Le moteur de recherche ne sera pas analysé si vous interdisez les pages.
Ne pas confondre avec robots.txt Refuser avec noindex étiquette. robots.txt bloque l'exploration, mais pas l'indexation. Vous pouvez l’utiliser pour ajouter des règles spécifiques permettant de contrôler l’interaction des moteurs de recherche et des autres robots avec votre site. Néanmoins, cela ne contrôlera pas explicitement si votre contenu est indexé ou non.
