I motori di ricerca scansionano il tuo sito di continuo, seguendo i link e indicizzando le pagine. Ma non ogni pagina merita di essere indicizzata. Hai pagine private, aree di amministrazione, pagine di prova e pagine duplicate che sprecano il crawl budget. Robots.txt è un semplice file di testo che dice ai motori di ricerca quali pagine possono scansionare e quali no. È il guardiano tra il tuo sito e i bot dei motori di ricerca.
Robots.txt è un file di testo semplice che si trova nella directory principale del tuo sito (iltuosito.com/robots.txt). Contiene le istruzioni per i crawler dei motori di ricerca su quali pagine e sezioni del tuo sito possono scansionare. Non serve un login per accedere a robots.txt. È pubblico. Chiunque può visitare iltuosito.com/robots.txt e vedere le tue istruzioni.
I motori di ricerca dovrebbero seguire le regole di robots.txt. La maggior parte lo fa. Alcuni no. I crawler corretti (Google, Bing, motori di ricerca affidabili) rispettano robots.txt. I malintenzionati e i bot dannosi spesso lo ignorano.
Che aspetto ha robots.txt?
Un semplice file robots.txt si presenta così:
User-agent: *
Disallow: /admin/
Disallow: /private/
Allow: /blog/
Sitemap: https://www.example.com/sitemap.xml
Questo dice a tutti i bot (User-agent: *) che non possono scansionare le sezioni /admin/ o /private/. Consente in modo esplicito /blog/ (utile se una cartella superiore è bloccata). Indirizza anche i bot alla tua sitemap.
Ecco un altro esempio con regole più specifiche:
User-agent: Googlebot
Disallow: /temp/
User-agent: *
Disallow: /test/
Disallow: /*.pdf
Crawl-delay: 5
Questo blocca solo il crawler di Google dalla cartella /temp/. Tutti gli altri bot sono bloccati da /test/ e da tutti i file PDF. Il crawl-delay dice ai bot di aspettare 5 secondi tra una richiesta e l'altra.
Come robots.txt aiuta la SEO
Robots.txt aiuta la SEO soprattutto in un modo: preserva il crawl budget. I motori di ricerca assegnano a ogni sito una quantità limitata di crawl budget. Per i siti piccoli, il crawl budget è raramente un problema. Per i siti grandi, con migliaia di pagine, il crawl budget conta.
Se il tuo sito ha 10,000 pagine ma solo 500 sono importanti, vuoi che i bot scansionino più volte le 500 pagine importanti, invece di distribuire il crawl budget su tutte le 10,000. Robots.txt impedisce ai bot di perdere tempo su pagine poco importanti.
Pagine comuni da bloccare: aree di amministrazione, pagine di login, pagine di ringraziamento, pagine di prova, contenuti duplicati, pagine di sessione e contenuti temporanei. Bloccare queste pagine dice ai bot di concentrarsi sui contenuti che contano.
Cosa non bloccare in robots.txt
Non bloccare le pagine che vuoi posizionare. Non bloccare la sezione del blog o le aree principali dei contenuti. Non bloccare i file CSS, JavaScript o immagine necessari per renderizzare bene le pagine (a meno che tu non voglia impedire in modo specifico l'indicizzazione).
Google consiglia di non bloccare i file CSS, JavaScript e immagine, anche se non vuoi che vengano indicizzati. Bloccare queste risorse può impedire a Google di renderizzare e capire correttamente le tue pagine.
Non usare robots.txt per nascondere informazioni sensibili. Robots.txt è pubblico. Chiunque può leggere iltuosito.com/robots.txt. Se vuoi davvero nascondere qualcosa, usa la protezione con password o l'autenticazione del server, non robots.txt.
Come creare un file robots.txt
Creare robots.txt è semplice. È un file di testo semplice. La maggior parte dei creatori di siti e delle piattaforme CMS ne genera uno in automatico.
Se il tuo CMS non ne ha creato uno, crealo a mano. Apri un editor di testo. Scrivi le tue regole. Salvalo come "robots.txt" (non "robots.txt.txt"). Caricalo nella directory principale del tuo sito (iltuosito.com/robots.txt).
Testa il tuo file robots.txt. Vai su Google Search Console, seleziona la tua proprietà, vai allo strumento Robots.txt Tester e incolla le tue regole. Google ti mostrerà cosa il file blocca e cosa consente. Così confermi che le regole funzionano come previsto.
Regole comuni di robots.txt ed esempi
Ecco la regola più comune: bloccare tutti i bot da una directory specifica.
User-agent: *
Disallow: /admin/
Ecco come bloccare un tipo di file specifico (come i PDF):
User-agent: *
Disallow: /*.pdf
Ecco come bloccare tutti i bot tranne Google:
User-agent: *
Disallow: /
User-agent: Googlebot
Disallow:
Ecco come aggiungere un ritardo di scansione (aspettare X secondi tra una richiesta e l'altra):
User-agent: *
Crawl-delay: 10
Ecco come indirizzare i bot alla tua sitemap:
Sitemap: https://www.example.com/sitemap.xml
Sitemap: https://www.example.com/sitemap2.xml
Limiti importanti di robots.txt
Robots.txt non è uno strumento di sicurezza. È un sistema basato sulla cortesia. I bot malevoli, gli hacker e i crawler dannosi ignorano del tutto robots.txt. Non usarlo per nascondere dati sensibili o proteggere pagine importanti. Per quelle usa la protezione con password.
Robots.txt non garantisce l'esclusione dai risultati di ricerca. Google a volte indicizza pagine elencate in robots.txt se sono collegate da altre pagine indicizzate. Il blocco impedisce la scansione, ma non l'indicizzazione se la pagina è collegata altrove.
Robots.txt non è un noindex. Se vuoi impedire del tutto l'indicizzazione, usa un meta tag robots o l'header X-Robots-Tag, non robots.txt. Robots.txt controlla solo la scansione, non l'indicizzazione.
Domande frequenti
Robots.txt influisce sul posizionamento SEO?
In modo indiretto. Robots.txt non incide direttamente sul posizionamento. Tuttavia, indirizzando il crawl budget verso le pagine importanti, aiuti i motori di ricerca a scansionare e indicizzare più spesso i tuoi contenuti migliori. Una scansione migliore porta a un'indicizzazione migliore, che porta a un potenziale di posizionamento migliore. Quindi robots.txt aiuta il posizionamento in modo indiretto, tramite la gestione del crawl budget. Con il creatore di siti di WEMASY puoi impostare tutto direttamente sul tuo sito.
Posso impedire a Google di scansionare il mio sito?
Sì, ma non dovresti. Puoi bloccare Googlebot in robots.txt, ma questo impedisce a Google di indicizzare il tuo sito. Il tuo sito sparirà dalla ricerca di Google. L'unico motivo per farlo è se metti il sito offline o lo stai spostando e non vuoi che la vecchia versione venga indicizzata. Quasi sempre, dovresti permettere a Google di scansionare.
Robots.txt distingue tra maiuscole e minuscole?
In parte. I comandi User-agent e Disallow non distinguono tra maiuscole e minuscole. I percorsi che blocchi invece le distinguono sulla maggior parte dei server. /Admin/ e /admin/ sono percorsi diversi. Testa le tue regole in Google Search Console per essere sicuro che funzionino come previsto.
Devo bloccare le pagine duplicate con robots.txt?
Dipende. Robots.txt blocca la scansione ma non l'indicizzazione. Se vuoi impedire l'indicizzazione delle pagine duplicate, usa invece il tag canonical o il noindex nel meta tag robots. Usa robots.txt per bloccare la scansione dei duplicati poco importanti che non ti interessa se Google trova o no.
Devo avvisare Google quando modifico robots.txt?
No. Google scansiona robots.txt di frequente. Le modifiche hanno effetto di solito entro poche ore. Non devi reinviare il tuo sito né avvisare nessuno. Aggiorna robots.txt e aspetta la scansione successiva.
Qual è la differenza tra robots.txt e i meta tag robots?
Robots.txt blocca la scansione a livello di file. I meta tag robots controllano l'indicizzazione a livello di pagina. Robots.txt dice che una pagina non può essere scansionata. I meta tag robots (come noindex) dicono che una pagina può essere scansionata ma non dovrebbe essere indicizzata. Usa robots.txt per grandi sezioni che vuoi bloccare. Usa i meta tag robots per singole pagine che vuoi far scansionare ma non indicizzare.