A quoi sert le fichier "Robots.txt"?

Déposez un fichier nommé "robots.txt" a la racine de votre site. Celui-ci sera lu par la plupart des moteurs.

Ce fichier est un standard donnant des indications au robot d'indexation du moteur sur ce qu'il peut faire et ce qu'il ne doit pas faire sur le site. Dès que le robot d'un moteur arrive sur un site, il va rechercher le document présent à l'adresse https://www.easy-micro.org/robots.txt avant d'effectuer la moindre "aspiration de document".

Structure du fichier
Il ne peut exister qu'un seul fichier robots.txt sur un site et doit toujours être créé en minuscules.

User-agent: *
Disallow: /cgi-bin/
Disallow: /perso/
Disallow: /entravaux/ Disallow: /abonnes/prix.html

Dans cet exemple :
User-agent: * signifie que l'accès est accordé à tous les agents (tous les spiders), quels qu'ils soient. Le robot n'ira pas explorer les répertoires /cgi-bin/, /perso/ et /entravaux/ du serveur ni le fichier /abonnes/prix.html.

Disallow: /perso
ne permettra l'indexation ni de https://www.monsite.com/perso/index.html, ni de https://www.monsite.com/perso.html

Disallow: /perso/
n'indexera pas https://www.monsite.com/perso/index.html, mais ne s'appliquera pas à l'adresse https://www.monsite.com/perso.html

Pour analyser votre fichier Robots.txt:
Yooda.com