Définition
Le fichier robots.txt donne des instructions aux robots des moteurs de recherche sur les pages qu'ils peuvent ou ne peuvent pas explorer.
Explication détaillée
Ce fichier texte, placé à la racine du site, permet de bloquer l'accès à certaines sections (pages d'administration, pages en double...). Attention : une mauvaise configuration peut empêcher Google d'indexer votre site. Le robots.txt n'empêche pas l'indexation, seulement l'exploration.
Exemple concret
"Disallow: /admin/" dans le robots.txt empêche Google d'explorer le dossier admin.
Bonnes pratiques
- Testez votre robots.txt avec l'outil de test de Google Search Console.
- Indiquez l'emplacement de votre sitemap dans le robots.txt.
- Bloquez uniquement les dossiers qui ne doivent vraiment pas être explorés.
- Vérifiez que vous n'avez pas de Disallow: / qui bloquerait tout le site.
Erreurs courantes à éviter
- Bloquer accidentellement tout le site avec Disallow: /
- Croire que robots.txt empêche l'indexation (utilisez noindex pour ça).
- Bloquer des ressources CSS/JS nécessaires au rendu de la page.
- Oublier que le robots.txt est public et lisible par tous.
Termes associés
Autres termes : Technique
Passez de la théorie à la pratique
Maintenant que vous comprenez ce qu'est le/la Robots.txt, analysez votre site pour voir comment l'améliorer.
Analyser mon site gratuitement