Easy-Micro


TECHNIQUE Référencement naturel
Fichier Robots

Utilisation du fichier Robots.txt

A quoi sert le fichier "Robots.txt"?

Déposez un fichier nommé "robots.txt" a la racine de votre site. Celui-ci sera lu par la plupart des moteurs.

Ce fichier est un standard donnant des indications au robot d'indexation du moteur sur ce qu'il peut faire et ce qu'il ne doit pas faire sur le site. Dès que le robot d'un moteur arrive sur un site, il va rechercher le document présent à l'adresse http://www.easy-micro.org/robots.txt avant d'effectuer la moindre "aspiration de document".

Structure du fichier
Il ne peut exister qu'un seul fichier robots.txt sur un site et doit toujours être créé en minuscules.

User-agent: *
Disallow: /cgi-bin/
Disallow: /perso/
Disallow: /entravaux/ Disallow: /abonnes/prix.html

Dans cet exemple :
User-agent: * signifie que l'accès est accordé à tous les agents (tous les spiders), quels qu'ils soient. Le robot n'ira pas explorer les répertoires /cgi-bin/, /perso/ et /entravaux/ du serveur ni le fichier /abonnes/prix.html.

Disallow: /perso
ne permettra l'indexation ni de http://www.monsite.com/perso/index.html, ni de http://www.monsite.com/perso.html

Disallow: /perso/
n'indexera pas http://www.monsite.com/perso/index.html, mais ne s'appliquera pas à l'adresse http://www.monsite.com/perso.html

Pour analyser votre fichier Robots.txt:
Yooda.com


Suivez les aventures des skippers aquitains sur EasyVoile.com
Flux RSS Easy-Micro - Abonnez-vous Easy-Micro [ François Bisch ]
Mercredi 20 mars 2019 - Semaine 12 - Saint Herbert (Demain: Sainte Clémence)
Aujourd'hui, c'est l'anniversaire de Danièle Gilbert (1943-76 ans), animatrice de télévision française et de Marthe Villalonga (1932), actrice française. Autre 20 mars: 1815 : de retour de l'île d'Elbe et après une marche triomphale sur Paris, Napoléon entre dans la capitale. 1965 : France Gall gagne l'Eurovision pour le Luxembourg avec Poupée de cire poupée de son.
Haut de page Easy-Micro