Decidere se ChatGPT può trovare e citare i tuoi contenuti coinvolge tre meccanismi separati: robots.txt, meta tag e header HTTP. La maggior parte delle persone ne conosce uno. Capirli tutti e tre ti permette di scegliere con consapevolezza la tua strategia di visibilità.
Non si tratta solo di bloccare o consentire. Si tratta di farlo con intenzione. Direttive diverse portano a risultati diversi. La combinazione sbagliata può ritorcersi contro di te.
I tre livelli di controllo
Hai tre modi per comunicare ai crawler di ChatGPT come trattare i tuoi contenuti.
Livello 1: robots.txt
Questo file nella radice del tuo dominio dice ai crawler a cosa possono e non possono accedere, nell'intero sito o in sezioni specifiche. Controlla la scoperta e la scansione.
Livello 2: meta tag robots
Questi meta tag HTML, inseriti nelle singole pagine, dicono ai crawler cosa fare dopo aver trovato e letto la pagina. Controllano l'indicizzazione e l'uso di quella pagina specifica.
Livello 3: header HTTP X-Robots-Tag
Questo header nella risposta HTTP del tuo server ha lo stesso scopo dei meta tag robots, ma si può applicare a tutto il sito o a specifici tipi di contenuto. È utile per i contenuti non HTML come i PDF.
La maggior parte delle persone si concentra sul robots.txt e dimentica gli altri due. Tutti e tre funzionano insieme.
Livello 1: capire robots.txt e OAI-SearchBot
Il tuo file robots.txt comunica con OAI-SearchBot (il crawler di ricerca di ChatGPT). ChatGPT rispetta le direttive standard del robots.txt.
Per consentire a OAI-SearchBot di accedere ai tuoi contenuti
User-agent: OAI-SearchBot
Allow: /
È l'impostazione predefinita. OAI-SearchBot scansionerà l'intero sito e i tuoi contenuti diventeranno visibili nella ricerca di ChatGPT.
Per bloccare del tutto OAI-SearchBot
User-agent: OAI-SearchBot
Disallow: /
Così la ricerca di ChatGPT non può trovare i tuoi contenuti. Le tue pagine non compariranno nelle risposte di ChatGPT.
Per consentire OAI-SearchBot ma controllare la frequenza di scansione
User-agent: OAI-SearchBot
Allow: /
Crawl-delay: 1
La direttiva Crawl-delay dice al bot di aspettare 1 secondo tra una richiesta e l'altra. Aiuta a gestire il carico del server se il crawler di ChatGPT lo interroga troppo spesso.
Per bloccare sezioni specifiche
User-agent: OAI-SearchBot
Disallow: /admin/
Disallow: /private/
Allow: /
Questo blocca la scansione delle cartelle /admin/ e /private/ e consente l'accesso a tutto il resto.
Il principio chiave: il robots.txt controlla la scoperta e la scansione. Se blocchi un crawler qui, non può accedere affatto alla pagina e quindi non può leggere nessun meta tag presente su quella pagina.
Livello 2: meta tag robots, il controllo dopo la scoperta
Dopo che OAI-SearchBot ha scansionato la tua pagina (cioè non è stato bloccato nel robots.txt), i meta tag robots gli dicono cosa fare con il contenuto.
La struttura del meta tag robots
<meta name="robots" content="directive1, directive2">
Le direttive principali per i crawler AI
noindex: non indicizzare questa pagina e non includerla nei riassunti. Il crawler vede la pagina ma non la usa.
nofollow: non seguire i link di questa pagina. Il crawler può vedere la pagina ma non scansionerà i link al suo interno.
noai: non usare questo contenuto per addestrare modelli di AI. La pagina può comparire nei risultati di ricerca, ma OpenAI non può usarla per addestrare modelli linguistici.
noimageai: non usare le immagini di questa pagina per addestrare modelli di generazione di immagini.
Esempio
<meta name="robots" content="noindex">
Dice a tutti i crawler (Google, Bing, ChatGPT e così via) di non indicizzare questa pagina. ChatGPT non la citerà, Google non la mostrerà e Bing non la includerà.
Specifico per OAI-SearchBot
<meta name="robots" content="noai">
Dice specificamente a OAI-SearchBot di non usare il contenuto per l'addestramento. La pagina può ancora essere citata nei risultati della ricerca di ChatGPT, ma OpenAI non può usarla per addestrare i modelli.
Regola critica: non combinare robots.txt e noindex
È la regola tecnica più importante. Non fare mai questo:
User-agent: OAI-SearchBot
Disallow: /article/
E poi mettere anche questo nella pagina dell'articolo:
<meta name="robots" content="noindex">
Perché: se blocchi l'accesso di OAI-SearchBot a /article/ tramite robots.txt, il crawler non scarica mai quella pagina. Non legge mai il meta tag. La direttiva noindex non ha effetto perché il crawler non la vede mai. Inoltre, se la tua pagina ha link da siti esterni, alcuni crawler potrebbero indicizzarla comunque, perché l'hanno scoperta tramite quei link, anche se il tuo robots.txt diceva di no.
La regola: usa il robots.txt OPPURE i meta tag, non entrambi per la stessa direttiva.
Buona pratica: usa il robots.txt per controllare la scansione a livello di sito (consentire o vietare intere sezioni). Usa i meta tag per il controllo a livello di pagina (singole pagine con regole particolari).
Livello 3: header HTTP X-Robots-Tag
Se vuoi controllare il comportamento dei crawler per contenuti non HTML (PDF, immagini e così via), o applicare regole a più pagine senza modificare ognuna, usa l'header HTTP X-Robots-Tag.
Esempio:
X-Robots-Tag: noindex, nofollow
Viene applicato a livello di server e dice a tutti i crawler di non indicizzare e di non seguire i link di qualsiasi pagina servita con questo header.
Puoi applicarlo in modo selettivo:
X-Robots-Tag: OAI-SearchBot: noai
Dice solo a OAI-SearchBot di non usare i tuoi contenuti per l'addestramento, lasciandoli comunque nella ricerca.
Scelte strategiche: cosa vuoi davvero
La tua scelta dipende dal tuo obiettivo.
Obiettivo 1: massimizzare le citazioni in ChatGPT
Consenti nel robots.txt, nessun meta tag noindex. Lascia che OAI-SearchBot ti trovi e ti citi.
User-agent: OAI-SearchBot
Allow: /
Nessun meta tag restrittivo.
Obiettivo 2: comparire nella ricerca di ChatGPT ma impedire l'addestramento del modello
Consenti nel robots.txt, usa il meta tag noai.
User-agent: OAI-SearchBot
Allow: /
<meta name="robots" content="noai">
Obiettivo 3: nascondersi da ChatGPT ma restare per gli altri motori di ricerca
Blocca OAI-SearchBot, consenti gli altri.
User-agent: OAI-SearchBot
Disallow: /
User-agent: Googlebot
Allow: /
User-agent: Bingbot
Allow: /
Obiettivo 4: nascondersi da tutti i crawler AI
Blocca più bot.
User-agent: OAI-SearchBot
Disallow: /
User-agent: GPTBot
Disallow: /
User-agent: Googlebot
Allow: /
Il problema della conformità: non tutti i crawler AI rispettano queste regole
Ecco la verità scomoda: crawler AI diversi rispettano le regole in misura diversa.
I test mostrano che ChatGPT rispetta il robots.txt e alcuni meta tag. Perplexity rispetta entrambi in modo coerente. Altri sistemi di AI hanno livelli di conformità variabili. Alcuni vecchi scraper AI non rispettano affatto il robots.txt.
Puoi controllare bene i crawler di OpenAI. Non puoi controllare del tutto ogni sistema di AI che potrebbe copiare i tuoi contenuti.
Come WEMASY ti aiuta a gestire l'accesso dei crawler
Il creatore di siti di WEMASY include un editor del robots.txt in cui puoi configurare i permessi di OAI-SearchBot senza modificare file grezzi. Puoi aggiungere meta tag robots alle singole pagine dal pannello delle impostazioni SEO. Il builder precompila impostazioni di buona pratica: consente OAI-SearchBot per la visibilità nella ricerca e ti lascia aggiungere noai se non vuoi l'addestramento del modello. Controlla i log di scansione per vedere quali crawler accedono al tuo sito e regola i permessi di conseguenza. Scopri gli strumenti di gestione dei crawler di WEMASY.
Domande frequenti
Se blocco OAI-SearchBot nel robots.txt, i miei contenuti possono comunque comparire in ChatGPT tramite link?
È improbabile. OAI-SearchBot è il crawler di ricerca principale di ChatGPT. Se è bloccato, non hai alcuna presenza nella ricerca di ChatGPT. Però, se un altro sistema rimanda ai tuoi contenuti, un crawler diverso potrebbe recuperarli. Non è prevedibile. Con il creatore di siti di WEMASY puoi configurarlo direttamente sul tuo sito.
Cosa fa davvero il meta tag noai?
Dice a OpenAI di non usare i tuoi contenuti per addestrare i suoi modelli linguistici. I tuoi contenuti possono comunque comparire nei risultati della ricerca di ChatGPT con le citazioni. Senza questo tag, OpenAI può usare i tuoi contenuti per addestrare ChatGPT e altri modelli.
Devo usare noindex se non voglio comparire in ChatGPT?
Sì, ma capisci cosa fa: noindex dice a tutti i crawler (Google, Bing, ChatGPT e così via) di non indicizzare la pagina. Usalo se vuoi nasconderti da tutti i risultati di ricerca. Se vuoi nasconderti solo da ChatGPT restando visibile su Google, non usare noindex. Blocca invece OAI-SearchBot nel robots.txt.
Quanto tempo ci vuole perché le modifiche a robots.txt o ai meta tag abbiano effetto?
Le modifiche al robots.txt di solito vengono rispettate entro 24 ore. Le modifiche ai meta tag vengono rispettate alla prossima visita del crawler alla pagina. Per un test immediato, puoi usare lo strumento di test del crawler di OpenAI o gli strumenti per webmaster di Bing.
Posso bloccare tutti i crawler AI e consentire Google?
Sì. Nel tuo robots.txt vieta GPTBot, OAI-SearchBot, ChatGPT-User e gli altri bot AI, consentendo Googlebot e Bingbot. Tuttavia, questo non impedisce l'accesso ai tuoi contenuti ai sistemi di AI che non rispettano il robots.txt.
E se un crawler trova X-Robots-Tag e robots.txt in contraddizione?
Il robots.txt viene valutato per primo. Se il robots.txt blocca un crawler, questo non scarica la pagina e quindi non vede mai X-Robots-Tag. Se il robots.txt lo consente, allora valgono le direttive di X-Robots-Tag. Assicurati che siano coerenti.