La maggior parte dei siti si presenta in modo diverso su mobile e su desktop. Ciò che vedono i visitatori dipende dal dispositivo. Ma per i crawler AI questa incoerenza crea un problema: se la tua versione mobile nasconde o rimuove contenuti presenti su desktop, il crawler potrebbe non trovarli mai.
Come decide un crawler che cosa elaborare? Quando un bot AI richiede la tua pagina, non resta ad aspettare. Contatta il tuo server, carica ciò che riesce a caricare entro il tempo limite, analizza l'HTML, il CSS e il JavaScript che riceve ed estrae ciò che legge. Se il rendering mobile rimuove sezioni chiave, ristruttura i contenuti o rompe il layout, il crawler vede una versione del tuo sito più piccola e meno completa.
Questo capitolo spiega come i crawler AI interagiscono con i siti mobile, quali scelte di design influiscono sulla scansione e come fare in modo che i sistemi AI accedano agli stessi contenuti che vedono i tuoi visitatori.
Come i crawler AI vedono il tuo sito mobile
I crawler AI (come GPTBot, ClaudeBot, PerplexityBot) richiedono le pagine proprio come fa un browser. Inviano un'intestazione User-Agent che li identifica, seguono le regole del tuo robots.txt ed elaborano l'HTML e il CSS che ricevono.
La differenza chiave: la maggior parte dei bot AI renderizza le pagine con viewport mobile. Simulano un dispositivo mobile durante la scansione, quindi vedono il tuo layout mobile, non quello desktop. È una scelta di progetto, perché la maggior parte degli utenti usa prima di tutto il mobile e le piattaforme AI vogliono capire che cosa vedono davvero gli utenti reali.
Il processo di rendering del crawler
Quando il crawler carica la tua pagina, passa attraverso questi passaggi:
Primo, richiede l'HTML e scarica il contenuto iniziale. Secondo, esegue il JavaScript se la pagina ne ha bisogno per mostrare i contenuti (richiede tempo). Terzo, aspetta che si carichino immagini, font e altre risorse (entro certi limiti). Quarto, analizza lo stato finale renderizzato ed estrae il contenuto leggibile.
Se uno qualsiasi di questi passaggi va in timeout o fallisce, il crawler ottiene una visione incompleta. Un sito mobile lento può andare in timeout prima che il JavaScript finisca di girare. Un sito con contenuti caricati in lazy loading può mostrare solo la parte visibile senza scorrere. Una pagina che nasconde i contenuti dietro un pulsante "leggi di più" può non caricare mai il testo nascosto.
Che cosa viene estratto dalla tua pagina mobile
Non tutto ciò che un crawler carica viene usato per il posizionamento o per le citazioni. Il crawler dà priorità a ciò che considera il contenuto principale.
Le ricerche mostrano che il primo 30% di una pagina rappresenta il 44% di tutte le citazioni dei sistemi AI. Non è un caso. I contenuti nella parte alta della pagina vengono elaborati per primi, caricati più in fretta e pesano di più perché sono ciò che i lettori vedono subito.
Perché la posizione conta per la visibilità nell'AI
Se nascondi i tuoi contenuti migliori sotto lo scorrimento, dietro una scheda o dentro una fisarmonica, i crawler AI li trovano comunque, ma ricevono meno peso. I contenuti che richiedono un clic, uno swipe o un'espansione per essere visti vengono indicizzati ma trattati come secondari.
Su mobile in particolare, questo conta di più. Gli schermi mobile sono più piccoli. Più contenuti finiscono sotto la parte visibile. Se il tuo layout mobile sposta in basso le informazioni più importanti, o se offri una versione mobile semplificata che omette le spiegazioni dettagliate, i crawler vedono meno.
Core Web Vitals e timeout dei crawler
I Core Web Vitals misurano l'esperienza utente con tre metriche: LCP (Largest Contentful Paint), FID (First Input Delay) e CLS (Cumulative Layout Shift).
Per i crawler conta solo la velocità. La tua pagina ha un tempo limite. Se le risorse non si caricano, le immagini non si scaricano e il JavaScript non viene eseguito entro quel limite, il crawler va avanti con ciò che ha raccolto fino a quel momento.
LCP e visibilità per i crawler
L'LCP dovrebbe avvenire entro 2,5 secondi. Se il tuo LCP su mobile è di 5 secondi o più lento, i crawler potrebbero vedere solo l'HTML iniziale senza aspettare il rendering del contenuto principale. Vale soprattutto per i bot AI, che spesso hanno timeout più severi del crawler di Google.
Le pagine mobile sono più lente di quelle desktop perché le reti mobili sono più lente. Un caricamento di 2 secondi su desktop può diventare di 6 secondi su una rete mobile rallentata. Se il tuo sito mobile deve scaricare grandi pacchetti JavaScript prima di mostrare qualcosa, i crawler vedono una pagina vuota o quasi.
Come correggere le pagine mobile lente
Ottimizza i Core Web Vitals proprio su mobile. Fai test su reti lente (3G, 4G). Rimanda il JavaScript non critico. Comprimi le immagini. Usa una CDN. Carica i contenuti critici prima degli elementi decorativi.
Design responsive e contenuti completi
Il design responsive è necessario. Il tuo sito deve funzionare su mobile. Ma responsive non significa completo.
Alcuni siti nascondono i contenuti su mobile in modo responsive. Comprimono le sezioni, tolgono le barre laterali, nascondono le barre laterali della documentazione o semplificano la navigazione. Va bene per gli utenti, che riescono a navigare e a trovare ciò che serve. Ma per i crawler un contenuto nascosto è un contenuto invisibile.
Che cosa perdono i crawler nei layout interattivi
Se la tua versione mobile carica delle schede e mostra solo il contenuto della prima senza caricare le altre finché non vengono cliccate, un crawler che non interagisce con la pagina perde le schede nascoste. Se usi il CSS per applicare display:none a certi elementi su mobile, non vengono renderizzati affatto. Se il JavaScript carica contenuti diversi su mobile e su desktop in base a una condizione, il crawler vede solo la versione mobile.
Il principio che conta è la parità dei contenuti. Ogni parola, immagine, link e dato strutturato presente su desktop dovrebbe comparire anche su mobile (o essere disponibile senza interazione dell'utente). Se il tuo sito offre una versione mobile che rimuove o semplifica molto i contenuti, stai dando ai crawler una versione del tuo sito più piccola e meno completa.
Dove puoi semplificare su mobile senza rischi
Questo non significa che i layout debbano essere identici. La navigazione mobile può essere diversa. Il layout può impilarsi in verticale. Ma i tuoi contenuti non devono sparire. Se devi nascondere qualcosa per questioni di spazio, nascondi la navigazione o le barre laterali, non i contenuti principali.
Rendering JavaScript e crawler AI
Alcuni siti costruiscono le pagine interamente in JavaScript. Il file HTML è quasi vuoto e il contenuto vero viene renderizzato lato client quando il JavaScript viene eseguito nel browser.
I crawler AI sanno eseguire il JavaScript, ma non lo eseguono come un browser. Hanno tempi limite ristretti. Non hanno accelerazione GPU. Non sempre aspettano che le operazioni asincrone si completino.
Perché il rendering lato client fa fallire i crawler
Una pagina che si affida al JavaScript per recuperare dati da un'API e poi renderizzarli può fallire con un crawler. Il crawler carica l'HTML, inizia a eseguire il JavaScript, ma va in timeout prima che la chiamata all'API finisca e la pagina venga renderizzata. Il crawler si ritrova con il solo guscio della tua pagina, senza contenuto vero.
Per questo il rendering lato server (SSR) batte il rendering lato client (CSR) per la visibilità ai crawler. Quando renderizzi i contenuti sul server e invii al crawler HTML già pronto, il crawler ottiene subito la pagina completa. Quando renderizzi lato client e fai eseguire il JavaScript al crawler per vedere la pagina, lo rallenti e rischi il timeout.
Raccomandazioni per i framework JavaScript
Se usi un framework JavaScript, assicurati che i contenuti critici vengano renderizzati lato server o compaiano nell'HTML iniziale. Il crawler non dovrebbe dover eseguire JavaScript per vedere il tuo contenuto principale.
I dati strutturati su mobile devono coincidere con il desktop
I crawler AI estraggono i dati strutturati (schema markup) dalle tue pagine per capire di che cosa parli. Usano i dati strutturati per identificare entità, verificare fatti e capire le relazioni.
Se la tua versione mobile non include gli stessi dati strutturati della versione desktop, i crawler vedono informazioni incomplete. Una pagina prodotto può avere lo schema del prezzo su desktop ma non su mobile. Un articolo può includere lo schema dell'autore su desktop e toglierlo su mobile per risparmiare spazio.
Includi sempre tutti i dati strutturati in entrambe le versioni del sito. Se devi nascondere elementi decorativi su mobile, nascondili. Ma non nascondere lo schema. Lo schema è comunque invisibile agli utenti, quindi includerlo su mobile non costa nulla in termini di spazio.
Prestazioni del rendering mobile e tassi di citazione
Gli studi mostrano una correlazione diretta tra velocità del sito e tassi di citazione dell'AI. Le pagine che si caricano in fretta vengono citate più spesso. L'effetto è più forte su mobile perché le reti mobili sono il collo di bottiglia.
Una pagina che si carica in 1,5 secondi su mobile viene citata più spesso della stessa pagina che si carica in 4 secondi. La differenza non riguarda solo l'esperienza utente (anche se conta). Riguarda anche l'accesso dei crawler. Le pagine più veloci si caricano in modo più completo entro il tempo limite del crawler. I crawler vedono più contenuti, estraggono più informazioni e capiscono meglio la pagina.
Ottimizzazione delle immagini per la velocità mobile
L'ottimizzazione delle immagini è uno dei vantaggi più grandi. Immagini grandi e non ottimizzate rallentano moltissimo le pagine mobile. Le immagini in formato WebP si caricano il 35% più in fretta dei JPEG. Il lazy loading delle immagini (farle caricare solo quando servono) velocizza il primo caricamento della pagina. Usare una CDN per servire le immagini da un server vicino alla posizione dell'utente riduce molto i tempi di caricamento.
Errori mobile comuni che bloccano i crawler AI
Il tuo sito può essere responsive e bloccare comunque l'accesso dei crawler ai contenuti. Ecco gli errori più grandi:
Nascondere i contenuti dietro elementi interattivi
I contenuti in schede, fisarmoniche o caroselli che richiedono un clic per espandersi sono tecnicamente scansionabili, ma pesano meno. Se il tuo layout mobile nasconde il 50% dei contenuti in schede, il crawler li vede tutti, ma i sistemi AI li trattano come informazioni secondarie.
Rimuovere contenuti dalla versione mobile
Alcuni siti offrono versioni mobile più semplici che omettono le spiegazioni dettagliate. Risparmia banda ma riduce l'accesso dei crawler. Non farlo. Offri gli stessi contenuti su entrambi i dispositivi.
Scorrimento infinito senza paginazione
Le pagine che caricano altri contenuti mentre scorri usano il JavaScript per recuperare altri elementi. I crawler non scorrono. Caricano la pagina una volta e analizzano ciò che ottengono. Lo scorrimento infinito, per un crawler, sembra una pagina corta, a meno che tu non metta link di paginazione o un pulsante per la pagina successiva che il crawler possa trovare.
Pop-up e sovrapposizioni invadenti
I pop-up che coprono i contenuti o vanno chiusi prima di leggere sono un problema per gli utenti e per i crawler. Possono bloccare l'accesso al contenuto principale. Usali con parsimonia e non bloccare mai dietro di loro contenuti critici.
Bloccare immagini o risorse ai crawler AI
Il tuo robots.txt o le regole sugli user-agent possono bloccare la consegna delle immagini ad alcuni crawler. Se le immagini non si caricano, i crawler perdono il testo alternativo delle immagini e i dati strutturati collegati. Permetti a tutti i crawler di accedere a immagini e risorse (a meno che tu non abbia un motivo specifico per non farlo).
Meta tag viewport errato
Il meta tag viewport dice a browser e crawler come gestire la larghezza della pagina. Se nella tua pagina mobile non c'è la dichiarazione viewport corretta, sia i crawler sia i browser faranno fatica a renderizzare bene la pagina.
Testare il tuo sito mobile per l'accesso dei crawler AI
Non puoi dare per scontato che il tuo sito mobile sia scansionabile. Testalo.
Controlla il rendering in Google Search Console
Usa la versione mobile di Google Search Console per controllare i problemi di rendering. Google ti mostra come Googlebot vede le tue pagine mobile. Cerca contenuti mancanti, immagini rotte o JavaScript non riuscito.
Testa la velocità della pagina su mobile
Testa la velocità della pagina su mobile con PageSpeed Insights, selezionando mobile. Punta a punteggi verdi (90+) su LCP, FID e CLS. Su una vera rete mobile (non il WiFi del tuo ufficio) testa il tempo di caricamento. I siti dovrebbero caricarsi in meno di 3 secondi su reti 4G.
Verifica a mano la visibilità dei contenuti
Apri il tuo sito su un vero dispositivo mobile (o usa l'emulazione dei dispositivi di Chrome). Scorri le pagine. Controlla che niente di importante sia nascosto, rimosso o dietro un'interazione. Chiediti: un crawler vedrebbe questo contenuto senza cliccare, toccare o scorrere?
Testa con crawler mobile
Se puoi, testa con crawler che simulano il mobile. Alcuni strumenti SEO ti permettono di scansionare il sito con gli user-agent di Googlebot mobile. Ti mostra che cosa vede il crawler di Google su mobile.
Domande frequenti
I crawler AI vedono gli stessi contenuti mobile dei visitatori?
I crawler AI simulano i dispositivi mobile durante la scansione, quindi vedono il tuo layout mobile e il design responsive. Ma non interagiscono con la pagina come le persone. Non cliccano le schede, non espandono le fisarmoniche e non scorrono per caricare altri contenuti. Se un contenuto richiede un'interazione per caricarsi, i crawler possono perderlo o trattarlo come meno importante di quello subito visibile. Con il creatore di siti di WEMASY puoi impostarlo direttamente sul tuo sito.
Che cosa succede se la mia pagina mobile è lenta?
Le pagine lente vanno in timeout prima che i crawler vedano tutto il contenuto. Se la tua pagina impiega più di 5 secondi a caricarsi su mobile, i crawler possono finire l'elaborazione entro il loro tempo limite prima che il JavaScript finisca di girare o che le immagini finiscano di caricarsi. Si ritrovano con una visione incompleta della tua pagina. Questo incide su quante informazioni estraggono e su quanto peso i sistemi AI danno ai tuoi contenuti.
Posso offrire contenuti diversi su mobile e su desktop ai crawler?
Puoi avere design e layout diversi su mobile e su desktop. Quello che non devi fare è offrire contenuti diversi. I Core Web Vitals e i dati strutturati dovrebbero essere identici in entrambe le versioni. Tutti i testi, le immagini e le informazioni importanti dovrebbero comparire in entrambe le versioni (o essere accessibili senza richiedere interazione dell'utente). Offrire una versione mobile semplificata che omette contenuti significa che i crawler vedono meno.
Le schede e le fisarmoniche nascoste danneggiano la mia visibilità nell'AI?
I contenuti in schede e fisarmoniche sono comunque scansionabili, ma pesano meno di quelli subito visibili. Se le tue informazioni più importanti sono nascoste dietro schede su mobile, i sistemi AI le vedono ma le trattano come secondarie. Per la massima visibilità, sposta i tuoi contenuti migliori in cima alla pagina, dove si caricano per primi e compaiono senza interazione.
Come testo se il mio sito mobile è adatto ai crawler AI?
Controlla il rendering mobile in Google Search Console per vedere come Googlebot interpreta le tue pagine. Testa la velocità della pagina su mobile con PageSpeed Insights, puntando a punteggi dei Core Web Vitals di 90+. Apri il sito su un vero dispositivo mobile e verifica che tutti i contenuti importanti siano visibili senza cliccare o scorrere. I crawler vedono solo ciò che è subito disponibile o si carica in automatico entro il loro tempo limite.
Devo creare una versione mobile separata o usare il design responsive?
Usa il design responsive. Creare siti mobile e desktop separati (con contenuti diversi) confonde i crawler e ti costringe a gestire due versioni. Il design responsive adatta il layout alle diverse dimensioni dello schermo mantenendo gli stessi contenuti e lo stesso HTML. È più semplice da mantenere, migliore per i crawler ed è l'approccio che raccomandano Google e le piattaforme AI.