Le fichier robots.txt, aussi connu sous le nom de protocole d’exclusion des robots, est un fichier particulièrement intéressant. Il permet de fournir des directives aux […]