Easy-Micro


TECHNIQUE Référencement naturel
Fichier Robots

Utilisation du fichier Robots.txt

A quoi sert le fichier "Robots.txt"?

Déposez un fichier nommé "robots.txt" a la racine de votre site. Celui-ci sera lu par la plupart des moteurs.

Ce fichier est un standard donnant des indications au robot d'indexation du moteur sur ce qu'il peut faire et ce qu'il ne doit pas faire sur le site. Dès que le robot d'un moteur arrive sur un site, il va rechercher le document présent à l'adresse http://www.easy-micro.org/robots.txt avant d'effectuer la moindre "aspiration de document".

Structure du fichier
Il ne peut exister qu'un seul fichier robots.txt sur un site et doit toujours être créé en minuscules.

User-agent: *
Disallow: /cgi-bin/
Disallow: /perso/
Disallow: /entravaux/ Disallow: /abonnes/prix.html

Dans cet exemple :
User-agent: * signifie que l'accès est accordé à tous les agents (tous les spiders), quels qu'ils soient. Le robot n'ira pas explorer les répertoires /cgi-bin/, /perso/ et /entravaux/ du serveur ni le fichier /abonnes/prix.html.

Disallow: /perso
ne permettra l'indexation ni de http://www.monsite.com/perso/index.html, ni de http://www.monsite.com/perso.html

Disallow: /perso/
n'indexera pas http://www.monsite.com/perso/index.html, mais ne s'appliquera pas à l'adresse http://www.monsite.com/perso.html

Pour analyser votre fichier Robots.txt:
Yooda.com


Suivez les aventures des skippers aquitains sur EasyVoile.com
Flux RSS Easy-Micro - Abonnez-vous Easy-Micro [ François Bisch ]
Mardi 22 janvier 2019 - Semaine 04 - Saint Vincent (Demain: Saint Barnard)
Aujourd'hui, c'est l'anniversaire de Frank Leboeuf (1968-51 ans), footballeur français (défenseur). Autre 22 janvier: 1981 - Début de la série américaine Dallas sur les écrans français (TF1).
Haut de page Easy-Micro