robots.txt
Un file di testo nella directory principale del sito che indica ai crawler dei motori di ricerca quali parti del sito non devono scansionare.
- 01
Perché è importante
robots.txt blocca la scansione di aree inutili nella ricerca, come pannelli di amministrazione, carrello e pagine di risultati della ricerca interna, così i crawler dedicano il loro tempo alle pagine importanti. Non impedisce però in modo affidabile a una pagina di entrare nell’indice; per quello si usa noindex. Il file è pubblico.
- 02
Esempio
Gli indirizzi di un negozio che generano infinite combinazioni di filtri stanno consumando il tempo del crawler. Una volta aggiunte a robots.txt le regole che bloccano questi parametri, la scansione si concentra sulle pagine di prodotto e di categoria.
- 03
Errore comune
Bloccare con robots.txt una pagina che vuoi rimuovere dall’indice. Poiché la pagina bloccata non può essere scansionata, il suo tag noindex non viene mai visto e la pagina può restare nell’indice.
- 04
Termini correlati
Servizi e guide correlati
Parliamo del tuo progetto.
Raccontaci la tua esigenza; definiremo insieme l'ambito.