Generateur de robots.txt
Le generateur robots.txt permet de creer un fichier robots.txt complet avec regles personnalisees pour chaque robot d'indexation.
100% gratuit - Sans pub - Sans inscription - Aucune collecte de donnees
Contenu robots.txt genere :
Comment generer un robots.txt ?
1
Ajoutez des regles
Ajoutez des directives Allow ou Disallow pour chaque User-agent.
2
Configurez les options
Ajoutez l'URL de votre sitemap et un delai de crawl si necessaire.
3
Copiez et publiez
Copiez le contenu genere et publiez-le a la racine de votre site.
Besoin d'un veritable accompagnement web ?
3545 vous accompagne sur vos projets web, de la conception a la maintenance.