Come HTTPS e i certificati SSL influenzano l'accesso dei crawler AI

Gli errori del certificato SSL bloccano tutti i crawler AI. Scopri perché HTTPS conta, cosa rompe l'indicizzazione AI e come verificare la tua configurazione.

Bozza

Il certificato SSL del tuo sito funziona benissimo per i visitatori umani. Ma i crawler AI come GPTBot, ClaudeBot e PerplexityBot non riescono ad accedere ai tuoi contenuti.

La maggior parte delle strategie GEO si concentra su robots.txt e ottimizzazione dei contenuti. Ma prima che un crawler AI possa leggere il tuo file robots.txt, deve completare con successo un handshake HTTPS con il tuo server. Se l'handshake fallisce, i tuoi contenuti restano invisibili all'AI, per quanto bene tu li ottimizzi.

Questo articolo spiega perché HTTPS e i certificati SSL sono la base della visibilità nell'AI. Scoprirai quali livelli di sicurezza influenzano i crawler, quali errori SSL bloccano l'indicizzazione AI e come verificare che tutte le principali piattaforme AI possano accedere al tuo sito.

Cosa sono HTTPS e i certificati SSL

HTTPS è HTTP con un livello di sicurezza in più. Quando un visitatore o un crawler si collega al tuo sito, HTTPS cifra i dati che viaggiano tra il suo browser (o crawler) e il tuo server usando SSL (Secure Sockets Layer) o il suo successore moderno, TLS (Transport Layer Security).

Un certificato SSL è la credenziale digitale che il tuo server usa per dimostrare di essere chi dice di essere. Contiene il nome di dominio del tuo sito, l'emittente del certificato e una data di scadenza. Quando un crawler arriva sul tuo sito, il server mostra il certificato come prova di identità. Il crawler verifica quel certificato prima di accedere a qualsiasi contenuto.

Questo processo è invisibile ai visitatori umani con i browser moderni: vedono solo un lucchetto verde. Ma se il certificato manca, è scaduto, è autofirmato o non corrisponde al tuo dominio, l'handshake fallisce. E quel fallimento blocca del tutto i crawler.

Perché i crawler AI hanno bisogno di HTTPS per raggiungere i tuoi contenuti

I crawler AI fanno richieste HTTP proprio come Googlebot. Seguono i link, scaricano le pagine e analizzano l'HTML. Ma a differenza di alcuni crawler più vecchi, tutte le piattaforme AI moderne (il crawler di ChatGPT, quello di Perplexity, quello di Claude) richiedono una connessione HTTPS valida prima ancora di provare a leggere robots.txt o a scaricare una sola pagina.

Ecco cosa succede quando un crawler AI visita il tuo sito. Prima prova a stabilire una connessione sicura con il tuo dominio usando TLS. Il tuo server risponde con un certificato SSL. Il crawler verifica che il certificato sia autentico e corrisponda al tuo dominio. Solo se la verifica riesce il crawler procede con le richieste vere e proprie per i tuoi contenuti.

Se il tuo certificato SSL non è valido o è scaduto, il crawler si ferma al secondo passaggio e non scarica mai i tuoi contenuti. Dal suo punto di vista, il tuo sito è irraggiungibile. Non riprova il giorno dopo. Segna il tuo dominio come inaccessibile e passa oltre.

È diverso dalla SEO tradizionale, dove Google riprova le richieste fallite e alla fine indicizza i contenuti anche in caso di problemi di connessione temporanei. I crawler AI sono più severi sui primi tentativi di accesso. Un handshake SSL fallito alla prima richiesta spesso significa nessuna indicizzazione.

Come i problemi del certificato SSL bloccano i crawler AI

Non tutti i problemi SSL sono evidenti. Un certificato può essere installato correttamente e comunque non superare la validazione per certi crawler. I blocchi più comuni sono questi:

Certificati scaduti

Un certificato che ha superato la data di scadenza non è valido. I crawler lo rifiutano subito. Alcuni siti usano certificati di breve durata (30-90 giorni) e li rinnovano in automatico. Se l'automazione si inceppa, il certificato scade senza che nessuno se ne accorga e i crawler perdono l'accesso all'istante.

Certificati autofirmati

Un certificato autofirmato è firmato dal tuo stesso server, non da un'autorità di certificazione affidabile. Browser e crawler non si fidano dei certificati autofirmati, perché chiunque potrebbe crearne uno e spacciarsi per un altro. I certificati autofirmati vanno bene per lo sviluppo o per le reti interne, ma bloccano ogni accesso pubblico dei crawler.

Dominio non corrispondente

Se il tuo certificato è emesso per example.com ma accedi al sito tramite www.example.com (o viceversa), il dominio nel certificato non corrisponde al dominio richiesto. I crawler lo rifiutano. Conta anche una piccola differenza: un certificato SSL per sub.example.com non viene validato se il crawler richiede content.example.com.

Problemi nella catena dei certificati

Un certificato SSL fa parte di una catena che risale a un'autorità radice. Se il tuo server non è configurato per inviare la catena completa (hai il certificato finale ma non quelli intermedi), i crawler potrebbero non riuscire a verificare la tua identità. Alcuni crawler sono tolleranti e cercano online il certificato intermedio mancante. Altri rifiutano subito la connessione.

Problemi di configurazione SNI

Server Name Indication (SNI) permette a un solo server di ospitare più siti HTTPS, identificando quale sito sta richiedendo il visitatore. Se il tuo server non è configurato per SNI o ha una configurazione SNI errata, i crawler che richiedono il tuo dominio possono ricevere il certificato di un altro dominio. In quel caso la validazione fallisce.

Gli header di sicurezza che influenzano l'accesso dei crawler AI

Quando l'handshake SSL riesce, il tuo server può inviare header di sicurezza che controllano come i crawler interagiscono con i tuoi contenuti. Questi header non bloccano del tutto i crawler, ma influenzano come gestiscono le tue pagine.

Strict-Transport-Security (HSTS)

HSTS dice ai crawler di usare sempre HTTPS per accedere al tuo sito, mai HTTP. Fa bene alla sicurezza e non blocca i crawler. Ma se configuri HSTS male, con una durata molto lunga, e poi passi a un certificato non valido, i crawler sono costretti a usare HTTPS ma non riescono a completare l'handshake. Assicurati che la tua policy HSTS vada di pari passo con certificati validi per tutta la durata che indichi.

X-Frame-Options e X-Content-Type-Options

Questi header dicono ai crawler come trattare i tuoi contenuti. Non impediscono ai crawler di scaricarli. Ma possono influenzare il modo in cui i crawler analizzano ed estraggono le informazioni dalle tue pagine.

Content-Security-Policy

Gli header CSP possono limitare le risorse a cui i crawler possono accedere dalle tue pagine. Se hai una CSP molto restrittiva che blocca le risorse esterne, i crawler potrebbero non riuscire a scaricare immagini, fogli di stile o script richiamati nelle tue pagine. Questo non blocca l'HTML in sé, ma limita i segnali che i crawler possono estrarre.

Gli errori SSL più comuni e cosa significano per l'indicizzazione AI

Quando un crawler AI non riesce a verificare il tuo certificato SSL, registra un errore. Capire questi errori ti aiuta a diagnosticare cosa non funziona. Ecco i più comuni:

Certificato scaduto

Il tuo certificato SSL ha superato la data di scadenza. I crawler vedono la data di scadenza nel certificato e lo rifiutano. È il problema più facile da individuare e risolvere. Controlla la data di scadenza del tuo certificato e rinnovalo prima che scada.

Il certificato non corrisponde al dominio

Il nome di dominio nel certificato non corrisponde al dominio richiesto dal crawler. Succede spesso quando migri a un nuovo dominio ma dimentichi di aggiornare il certificato SSL, oppure quando aggiungi un sottodominio ma il tuo certificato copre solo il dominio principale.

Impossibile verificare l'autorità di certificazione

Il crawler non riesce a risalire dal tuo certificato a un'autorità radice affidabile. Succede se il certificato è stato emesso da un'autorità non affidabile o se il tuo server non ha inviato la catena completa dei certificati intermedi.

Il certificato è revocato

La tua autorità di certificazione ha revocato il certificato a causa di un incidente di sicurezza o di una configurazione errata. I crawler controllano lo stato di revoca e negano l'accesso. È raro, ma quando succede è grave.

Come verificare la tua configurazione HTTPS per i crawler AI

Il modo migliore per assicurarti che i crawler AI possano accedere al tuo sito è provarlo da solo. Questi passaggi diagnostici fanno parte di un audit GEO tecnico più ampio. Ecco come controllare nello specifico i problemi HTTPS:

Usa i verificatori SSL online

Gli strumenti gratuiti di analisi SSL online eseguono un'analisi completa della tua configurazione SSL. Controllano la validità del certificato, la completezza della catena, il supporto alle versioni TLS e le vulnerabilità note. Fai analizzare il tuo dominio da uno di questi strumenti e correggi tutti gli errori che segnalano.

Prova con curl o wget

Da un terminale, esegui curl -I https://yourdomain.com oppure wget con l'opzione spider su https://yourdomain.com. Questi strumenti imitano ciò che fa un crawler. Se falliscono con un errore SSL, falliranno anche i crawler. Il messaggio di errore ti dice esattamente cosa non va.

Controlla con OpenSSL

OpenSSL è lo strumento standard per la diagnostica SSL. Esegui openssl s_client -connect yourdomain.com:443 per vedere esattamente quale certificato presenta il tuo server e se viene validato correttamente.

Verifica la completezza della catena dei certificati

Usa uno strumento da riga di comando per i test SSL per controllare se il tuo server invia la catena completa dei certificati. Se mancano i certificati intermedi, aggiungili alla configurazione del server.

Prova sulle varie piattaforme AI

Alcuni crawler AI sono più severi di altri sulla validazione SSL. Prova il tuo sito chiedendo a ChatGPT, Perplexity, Claude e Google Gemini una risposta che includa i tuoi contenuti. Se una piattaforma non riesce ad accedere al tuo sito, consulta la documentazione del suo crawler per gli eventuali requisiti SSL. Le diverse piattaforme AI hanno comportamenti diversi dei crawler: puoi approfondire nelle nostre guide all'ottimizzazione per la ricerca di ChatGPT e all'ottimizzazione per la piattaforma Perplexity.

Come WEMASY gestisce SSL e sicurezza per la scansione AI

Ogni sito creato con WEMASY include HTTPS automatico con un certificato SSL valido emesso da un'autorità affidabile. Il tuo certificato viene attivato, rinnovato e monitorato in automatico. Non devi gestire scadenze o cicli di rinnovo.

WEMASY configura anche il tuo certificato in modo che copra sia il dominio principale sia il sottodominio www, eliminando gli errori di dominio non corrispondente. La catena completa dei certificati viene inviata in automatico, così i crawler possono verificare la tua identità senza errori.

I tuoi header HSTS sono configurati con una durata ragionevole, così la sicurezza resta garantita senza creare un problema di avvio se devi cambiare certificato. Scopri di più sulle funzioni di sicurezza e prestazioni incluse in ogni piano WEMASY.

Domande frequenti

I crawler AI supportano sia HTTPS sia HTTP?

No. Tutti i principali crawler AI (GPTBot, ClaudeBot, PerplexityBot) richiedono esclusivamente HTTPS. Non supportano HTTP. Un sito che funziona su HTTP non è accessibile ai crawler AI. Se hai un sito più vecchio che usa ancora HTTP, passa subito a HTTPS. HTTPS è obbligatorio per l'accesso dei crawler AI. Con il creatore di siti di WEMASY puoi configurarlo direttamente sul tuo sito.

Un certificato SSL wildcard funziona per tutti i sottodomini?

Sì. Un certificato wildcard (*.example.com) copre qualsiasi sottodominio del tuo dominio principale. Se hai sottodomini come api.example.com o blog.example.com, un certificato wildcard li copre tutti. Tuttavia, un certificato wildcard non copre il dominio principale stesso (example.com), a meno che non sia incluso esplicitamente. Assicurati che il tuo certificato wildcard copra sia il wildcard sia il dominio principale.

I crawler AI seguono i reindirizzamenti SSL da HTTP a HTTPS?

La maggior parte sì. Se il tuo server reindirizza le richieste HTTP verso HTTPS (una configurazione comune), i crawler AI seguono il reindirizzamento e proseguono con la connessione HTTPS. Però questo aggiunge un passaggio e consuma altre risorse del crawler. La buona pratica è disattivare del tutto HTTP e accettare solo connessioni HTTPS. Così non hai reindirizzamenti in più e nessun crawler finisce su una versione non cifrata del tuo sito.

Ogni quanto devo rinnovare il mio certificato SSL?

I certificati SSL moderni durano in genere un anno. La maggior parte dei provider di hosting e delle piattaforme (WEMASY compreso) gestisce il rinnovo in automatico. Non devi rinnovare a mano, a meno che tu non abbia una configurazione di hosting molto vecchia. Imposta dei promemoria sul calendario 30 giorni prima della scadenza, per sicurezza, ma il rinnovo automatico dovrebbe evitare del tutto i problemi di scadenza.

Un certificato SSL difettoso danneggia il mio posizionamento SEO?

Sì. Google richiede HTTPS e considera di qualità inferiore i siti senza HTTPS valido. Un certificato SSL scaduto o non valido viene trattato come un sito HTTP, con una penalizzazione nel posizionamento. Per la visibilità nell'AI la penalizzazione è ancora più pesante, perché i crawler AI non riescono ad accedere affatto con certificati scaduti. Non indicizzeranno i tuoi contenuti, per quanto siano ottimizzati.

Posso usare un certificato autofirmato per un sito in produzione?

No. I certificati autofirmati vengono rifiutati da tutti i principali crawler e browser. Vanno bene solo per sviluppo, test o reti interne in cui controlli tutti i client che si collegano al server. Per qualsiasi sito pubblico usa un certificato emesso da un'autorità di certificazione (CA) affidabile. La maggior parte delle autorità di certificazione offre certificati molto economici o gratuiti per l'uso di base.

Mettilo in pratica
sul tuo sito web.

Inizia gratis con WEMASY e crea il tuo sito in pochi minuti.