robots.txt

Thème : Moteurs de recherche

Définition

Fichier de directives destinées aux robots des moteurs de recherche.

Description

De format texte et placé à la racine d'un site, ce fichier permet d'interdire aux robots des moteurs de recherche l'accès à certains répertoires ou à certains fichiers.
Il est possible de donner des directives spécifiques à certains robots.

On n'indique que les zones interdites. Tout le reste est considéré comme étant autorisé. Si le fichier n'existe pas, tout est autorisé.

Les robots des moteurs de recherche vont lire ce fichier régulièrement. Si les grands robots respectent à la lettre les directives, il faut savoir que d'autres ignorent les interdictions, ou pire encore utilisent ce fichier pour avoir connaissance des zones interdites qu'ils vont fouiller. Ce n'est donc certainement pas une bonne manière d'interdire l'accès à certains robots.

Cette page issue de Dicodunet.com est soumise à la licence Creative Commons. Vous pouvez utiliser le contenu de cette page tant que cette note apparaît clairement.