Il tuo file robots.txt è un file di testo che si trova nella directory principale del tuo sito. Dice ai crawler quali pagine possono visitare e quali sono off-limits. Per i motori di ricerca tradizionali robots.txt è facoltativo. Per i crawler AI è lo strumento principale con cui controlli se i tuoi contenuti vengono indicizzati o bloccati.
La differenza conta. Google rispetta robots.txt ma scansiona comunque le pagine che blocchi se altri siti le linkano. I crawler AI rispettano robots.txt in modo più rigido. Blocca GPTBot nel tuo robots.txt e ChatGPT non citerà i tuoi contenuti. Consentilo e i tuoi contenuti diventano disponibili per le citazioni dell'AI. Questo capitolo spiega come si chiama ciascun crawler AI principale, come bloccare bot specifici e quale strategia ha senso per il tuo brand.
Come funziona robots.txt per i crawler AI
Quando un crawler visita il tuo sito, la prima cosa che fa è cercare un file robots.txt. Legge il file riga per riga in cerca delle regole che lo riguardano. Se il tuo robots.txt dice "disallow: /", nessun crawler può accedere a nessuna pagina. Se dice "disallow: /admin/", i crawler possono accedere a tutto tranne che alla cartella admin.
I crawler AI seguono queste regole con più coerenza di Googlebot. Se blocchi ClaudeBot in robots.txt, Claude non indicizzerà i tuoi contenuti. Punto. Googlebot può comunque scansionare le pagine che blocchi se i contenuti sono linkati da altri siti, ma i crawler AI si fermano alla direttiva di robots.txt.
Il formato è semplice. Scrivi regole che indicano quali user agent (nomi dei crawler) seguono quali regole, poi elenchi cosa quei crawler possono e non possono visitare. Il file è testo semplice. Nessun markup. Nessuna formattazione speciale. Solo regole.
I principali crawler AI e i loro nomi user agent
Ogni crawler ha un nome user agent. Quando visita il tuo sito, si identifica con quel nome. Usi quel nome nel tuo file robots.txt per creare regole specifiche per quel crawler.
Ecco i principali crawler AI che dovresti conoscere:
GPTBot (OpenAI)
GPTBot è il crawler di OpenAI. Indicizza i contenuti per ChatGPT. Quando un utente attiva la ricerca sul web in ChatGPT, il sistema attinge alle pagine che GPTBot ha indicizzato. GPTBot scansiona in modo aggressivo ma rispetta le regole di robots.txt.
Per consentire GPTBot, non fare nulla. Scansiona di default. Per bloccarlo, aggiungi queste righe al tuo robots.txt:
User-agent: GPTBot
Disallow: /
Quella regola dice "GPTBot, non puoi accedere a nessuna pagina di questo sito". Se vuoi bloccare solo sezioni specifiche, puoi essere più preciso. Blocca la cartella /admin/ ma consenti il resto:
User-agent: GPTBot
Disallow: /admin/
ClaudeBot (Anthropic)
ClaudeBot è il crawler di Anthropic. Indicizza i contenuti per la ricerca sul web di Claude. ClaudeBot è più aggressivo di GPTBot. Fa più richieste e scansiona più spesso. Se consenti ClaudeBot, tieni d'occhio le risorse del tuo server.
ClaudeBot si identifica con questo nome user agent. Usalo nel tuo robots.txt come faresti con GPTBot:
User-agent: ClaudeBot
Disallow: /
PerplexityBot (Perplexity)
PerplexityBot scansiona il web per Perplexity. È uno dei crawler più frequenti. Aggiorna i contenuti più volte al giorno perché Perplexity dà priorità alla freschezza. Se blocchi PerplexityBot, i tuoi contenuti non compariranno nelle risposte di Perplexity.
User-agent: PerplexityBot
Disallow: /
Googlebot-Extended (Google AI)
Google ha due crawler. Googlebot scansiona per la ricerca tradizionale. Googlebot-Extended scansiona per i sistemi AI di Google, come AI Overviews e Gemini. Puoi bloccare Googlebot-Extended continuando a consentire Googlebot.
User-agent: Googlebot-Extended
Disallow: /
Altri crawler
Anche altri motori di ricerca, regionali e internazionali, hanno i loro crawler. Il principio è lo stesso. Individua il nome user agent e crea una regola.
La strategia: consentire o bloccare?
La maggior parte dei brand dovrebbe consentire ai crawler AI di accedere ai propri contenuti. Le citazioni dell'AI portano traffico di alta qualità. Gli utenti che trovano i tuoi contenuti tramite ChatGPT o Perplexity hanno già deciso che la tua risposta ha valore. Cliccano e convertono con tassi più alti dei visitatori della ricerca tradizionale.
Ci sono eccezioni. Se hai informazioni proprietarie, segreti commerciali o contenuti che vuoi tenere esclusivi, bloccare i crawler AI ha senso. Se hai contenuti a pagamento, puoi bloccare certi crawler per impedire l'accesso gratuito tramite i riassunti dell'AI. Se hai contenuti imbarazzanti o superati, puoi bloccare i crawler AI finché non li aggiorni.
Ma per la maggior parte dei contenuti il calcolo è semplice. La visibilità nell'AI crea più opportunità che rischi. Consenti i crawler. Fatti citare. Porta traffico.
Bloccare crawler specifici consentendone altri
Non devi scegliere tutto o niente. Puoi consentire alcuni crawler AI e bloccarne altri.
Consenti Perplexity e GPTBot ma blocca ClaudeBot perché la frequenza di scansione di ClaudeBot mette sotto pressione il tuo server:
User-agent: ClaudeBot
Disallow: /
User-agent: GPTBot
Disallow:
User-agent: PerplexityBot
Disallow:
"Disallow:" vuoto significa nessuna restrizione. Quel crawler può accedere a tutto.
Puoi anche bloccare i crawler AI da sezioni specifiche. Consenti GPTBot ovunque tranne che nel tuo pannello di amministrazione:
User-agent: GPTBot
Disallow: /admin/
Consentigli di scansionare il tuo blog ma non i tuoi prodotti:
User-agent: GPTBot
Disallow: /products/
La regola wildcard e il comportamento predefinito
Puoi creare regole per crawler specifici e una regola predefinita per tutti gli altri. L'asterisco (*) è il carattere jolly che si applica a tutti i crawler non menzionati in modo specifico.
Questa regola blocca tutti i crawler da /private/ ma consente tutto il resto:
User-agent: *
Disallow: /private/
Questa regola impedisce a tutti i crawler di accedere a qualsiasi cosa:
User-agent: *
Disallow: /
La direttiva crawl-delay
Puoi dire ai crawler di rallentare. La direttiva Crawl-delay dice a un crawler di aspettare un certo numero di secondi tra una richiesta e l'altra. Se il tuo server fatica con la scansione aggressiva di ClaudeBot, puoi dirgli di rallentare:
User-agent: ClaudeBot
Crawl-delay: 5
Significa che ClaudeBot deve aspettare 5 secondi tra una richiesta e l'altra. Rallenta la scansione ma riduce il carico sul server.
Come robots.txt si collega alla tua sitemap
Il tuo file robots.txt può fare riferimento alla tua sitemap. Aggiungi questa riga alla fine del tuo file robots.txt:
Sitemap: https://yoursite.com/sitemap.xml
I crawler controllano il tuo robots.txt e vedono il riferimento alla sitemap. Sanno dove trovare la mappa dei tuoi contenuti. Questo velocizza la scoperta. Non cambia ciò a cui i crawler possono accedere. Dice solo dove guardare.
Testare il tuo robots.txt
Puoi testare il tuo file robots.txt prima di metterlo online. Google Search Console include un tester per robots.txt. Inserisci un URL e il nome di uno user agent e ti dice se quel crawler può accedere a quella pagina secondo le regole del tuo robots.txt.
La maggior parte delle piattaforme di contenuti, WEMASY compreso, genera un file robots.txt in automatico. Controlla le impostazioni del tuo sito. Se puoi modificarlo, puoi aggiungere regole personalizzate. Se non puoi, contatta il tuo provider di hosting.
Domande frequenti
Se blocco tutti i crawler AI, il mio sito si posizionerà comunque su Google?
Sì. Bloccare i crawler AI (GPTBot, ClaudeBot e così via) non influisce sul posizionamento su Google. Google usa Googlebot per la ricerca tradizionale e Googlebot-Extended per le funzioni AI. Se vuoi bloccare solo i crawler AI ma mantenere l'accesso di Google, blocca in modo specifico i nomi dei crawler AI e lascia sbloccati Googlebot e Googlebot-Extended. Con il creatore di siti di WEMASY puoi configurarlo direttamente sul tuo sito.
Posso bloccare i crawler di addestramento dell'AI ma consentire quelli della ricerca AI?
Il confine tra crawler di addestramento e di ricerca è sfumato. La maggior parte delle grandi aziende di AI ora usa gli stessi crawler per entrambi gli scopi. Se blocchi del tutto un crawler AI, blocchi sia il suo accesso per l'addestramento sia quello per la ricerca. Con robots.txt non puoi bloccare in modo selettivo solo l'addestramento o solo la ricerca. Blocchi il crawler del tutto oppure lo consenti.
Cosa succede se non ho un file robots.txt?
Se non hai un file robots.txt, i crawler presumono di poter accedere a tutto. Tutti i crawler (Google, GPTBot, ClaudeBot, tutti) indicizzeranno l'intero sito. Per la maggior parte dei siti è il comportamento desiderato. Se vuoi bloccare crawler o sezioni specifiche, ti serve un file robots.txt.
I crawler AI possono aggirare il mio file robots.txt?
In teoria sì, ma non lo fanno. I crawler AI rispettano robots.txt in modo più rigido di Googlebot. Se dici a un crawler AI di stare fuori, sta fuori. Gli sviluppatori dei crawler sanno che non rispettare robots.txt danneggia i rapporti con gli editori. Seguono le regole.
Ogni quanto devo aggiornare il mio file robots.txt?
Devi aggiornarlo solo se cambiano le tue regole di blocco. Se decidi di bloccare un nuovo crawler o di aprire l'accesso a una sezione prima bloccata, aggiornalo. Altrimenti, una volta configurato, puoi lasciarlo com'è. I crawler lo controllano a ogni visita, quindi le modifiche hanno effetto subito.
Devo bloccare ai crawler AI l'accesso alle mie analisi sulla concorrenza o alle mie ricerche private?
Sì. Se hai pagine con ricerche proprietarie, analisi della concorrenza o contenuti che non vuoi rendere pubblici, blocca tutti i crawler da quelle sezioni. Aggiungi una regola disallow per quella cartella o per quelle pagine. I crawler non le indicizzeranno e i sistemi AI non potranno accedervi per citarle.