Quando apro il mio file robots.txt c'è scritto così: User-agent: * Disallow: / . Cosa significa? Blocca tutti i robot? Se è così, il mio sito potrebbe non comparire su Google!
Qual è la sintassi corretta per il robots.txt? Quali file devo mettere in 'disallow' e quali lascio aperti?
Se scrivo male il Robot.txt Search Console mostra un errore oppure nasconde il sito in silenzio?
Spiegazione robots.txt: User-agent: * = tutti i robot, Disallow: / = disallow di '/' (tutto il sito). Quindi blocca TUTTI i robot — significa che il mio sito è nascosto a Google, Bing e a tutti. RIMUOVI questo file!
robots.txt corretto: Lascialo vuoto (non scrivere nulla) oppure scrivi questo: User-agent: * Disallow: /admin/ Disallow: /private/ Allow: / Sitemap: https://example.com/sitemap.xml
Questo significa: blocca le cartelle admin e private, permetti tutto il resto, e indica la sitemap a Google.
Notifica Search Console: Se il robots.txt disallowa completamente il sito, nella copertura di Search Console vedrai 'Escluso da robots.txt'.
correzione: mi ricordavo male il numero, era un po' più basso.
Esempi di robots.txt: 1) Disallow della directory di installazione WordPress: Disallow: /wp-admin/, Disallow: /wp-includes/. 2) File privati: Disallow: /private/. 3) Pagina di test: Disallow: /test.html. 4) Blocco di tutti i bot: Disallow: / (se vuoi permetti a Googlebot: Allow: / specifico per Googlebot).
sul nostro sito l'anno scorso uno sviluppatore ha fatto un errore, aveva messo in disallow tutto il sito nel robots.txt. per 1 mese non è arrivato nessun traffico da Google il sito era praticamente morto. abbiamo rimosso il disallow dal robots.txt dopo 2 settimane Google ha ricominciato a fare il crawl e il traffico è tornato.
lezione: controlla il robots.txt spessso il disallow di tutto il sito è un errore fatto per sbaglio.
il file robots.txt deve stare nella root del sito (example.com/robots.txt) ma se il file manca i bot non hanno problemi, il problea è se c'è ma è sbagliato. boh rimuovi subito quel 'Disallow: /' che hai scritto, sta nascondendo tutto il sito.
robots.txt: Se scrivi Disallow: / stai dicendo a Google 'mandalo a quel paese'. Google: ok, vado via. 3 mesi fuori dai risultati traffico zero pentimento. Scrivilo giusto o lascialo stare.
Codici di stato robots.txt: 200 = sito ok. 404 = robots.txt non presente (nessun problema, permesso di default). 403 = accesso negato. User-agent: * = tutti i bot, Googlebot = robot di Google, Bingbot = Bing.
Sono d'accordo, anzi vorrei sottolinearlo. L'errore commesso da errore robots txt è generalmente reversibile ma costoso.
Se avete domande scrivete rispondo per quanto possibile.
Mi sono rilassato leggendo questa risposta, quindi non succede solo a me. Il fatto che tutti facciano una cosa non significa che sia quella giusta.
Spero che le sia utile.
Doki · Consulenza SEO · 2026
non ho alcuna esperienza in materia di errore robots txt quindi chiedo. le decisioni affrettate diventano decisioni da correggere sei mesi dopo.
spero che le sia utile.
Doki · Sito web aziendale · 2023
Sono una piccola impresa vi parlo dal mio punto di vista. Se la posizione resta la stessa ma i clic calano, il problema non è nella pagina ma nell'anteprima dei risultati.
Correggetemi se sbaglio.
non ho alcuna esperienza in materia di errore robots txt, quindi chiedo... quando prendi una decisione guarda prima quail dati hai a disposizione.
Doki · Configurazione gestione log · 2025
Sì, per quanto riguarda errore robots txt la situazione è esattamente così. Nessun processo migliora senza tracciamento, perché non sai cosa correggere.
Buon lavoro.
La discussione si è dispersa, la riassumo. Non abbiate paura di chiedere, chi non chiede paga sempre di più.
Confermato dall'esperienza.
Ho lavorato a lungo su questo. Quando prendete una decisione, scrivete anche lo scenario peggiore, non solo quello migliore.
Se scrivete qui il risultato, sarà utile anche ad altri.