Il file robots.txt
Il file robots.txt è un file di testo, codificato in formato UTF-8, che contiene comandi e direttive che servono ad istruire i motori di ricerca su eventuali restrizioni applicate alle pagine di un sito Internet. Il file robots.txt deve essere caricato nella directory principale del dominio (root directory) e può essere creato attraverso un semplice editor di testo.