La maggior parte dei proprietari di siti aspetta che i crawler trovino i loro contenuti. Pubblicano una pagina il lunedì e sperano che un bot la scopra entro mercoledì. Con i crawler AI, quell'attesa conta più di quanto abbia mai contato. Perplexity scansiona il web più volte al giorno. La freschezza non è un segnale di posizionamento secondario. È la differenza tra essere citati tu o essere citati al tuo posto i contenuti del tuo concorrente.
Le sitemap XML e IndexNow sono i due strumenti che ribaltano questo modello. Invece di aspettare passivamente, dici ai crawler esattamente dove sono i tuoi contenuti e quando sono cambiati. Le sitemap organizzano le tue pagine perché i crawler le trovino più in fretta. IndexNow avvisa attivamente i motori di ricerca nel momento in cui qualcosa viene pubblicato. Insieme, questi strumenti riducono la finestra di scoperta da giorni a ore. Per le piattaforme AI, dove la freschezza può fare o disfare la visibilità, quel vantaggio di velocità è reale.
Che cosa fa una sitemap XML per i crawler AI
Una sitemap XML è un file strutturato che elenca ogni pagina importante del tuo sito. Dice ai crawler l'URL di ogni pagina, quando è stata aggiornata l'ultima volta, quanto è importante rispetto alle altre pagine e con che frequenza cambia.
Per i motori di ricerca tradizionali, le sitemap sono un di più. Per i crawler AI sono quasi essenziali. L'analisi dei log dei server su 85 domini mostra che GPTBot (il crawler di ChatGPT) fa riferimento alle sitemap durante la fase iniziale di scoperta il 76% delle volte. Googlebot, a confronto, le usa solo il 54% delle volte. I sistemi AI dipendono di più dalle sitemap perché vogliono capire in fretta la struttura del tuo sito e la priorità dei contenuti.
Il motivo conta. Perplexity scansiona di continuo. Ha bisogno di trovare in fretta i nuovi contenuti. ChatGPT indicizza in modo selettivo. Dà priorità alle pagine che contano di più per te. Se la tua sitemap è disorganizzata o incompleta, stai di fatto nascondendo contenuti ai crawler che decidono se il tuo brand viene citato nelle risposte.
Come i crawler AI usano la tua sitemap in modo diverso
Una sitemap dice ai crawler tre cose. Dice dove sono i tuoi contenuti. Dice quali pagine contano di più. E dice quando le cose sono cambiate.
Per i sistemi AI, la terza è fondamentale. Quando aggiorni una pagina, il tag lastmod (ultima modifica) nella tua sitemap segnala che il contenuto è cambiato. GPTBot controlla questo tag. Perplexity controlla questo tag. Quando un crawler AI vede un aggiornamento recente nella tua sitemap, dà priorità a una nuova scansione di quella pagina. Se la tua sitemap dice che una pagina non cambia da sei mesi, il crawler le dà meno priorità. La preferenza per ciò che è recente, tipica delle piattaforme AI, rende questo il singolo metadato più importante che controlli.
Conta anche la seconda. La tua sitemap include un tag priority che dice ai crawler quali pagine sono più importanti per te. Le pagine ricevono un punteggio di priorità da 0 a 1. La tua homepage potrebbe essere 1,0. Il tuo blog potrebbe essere 0,8. I vecchi contenuti archiviati potrebbero essere 0,3. I crawler AI non trattano la priorità come un segnale di posizionamento, ma la trattano come un segnale di efficienza. Se dici a un crawler AI che il 60% del tuo sito ha priorità bassa, sa dove concentrare il suo budget di scansione.
L'ottimizzazione della sitemap a cui rispondono i crawler AI
La maggior parte delle aziende crea una sitemap e se ne dimentica. I crawler la trovano. I contenuti vengono indicizzati. Caso chiuso.
I crawler AI premiano la precisione. Le sitemap segmentate funzionano il 67% meglio. Invece di buttare ogni pagina in un'unica sitemap enorme, crei sitemap separate per i diversi tipi di contenuto. Una per gli articoli del blog. Una per le pagine prodotto. Una per le guide di apprendimento. Una per le tue pagine principali.
Perché conta? Quando un crawler AI visita il tuo sito, ha tempo e budget di scansione limitati. Se gli dici che la tua sitemap contiene 10.000 pagine miste e ha il tempo di scansionarne solo 1.000, deve indovinare quali 1.000 contano. Se invece segmenti le sitemap e gli dici che la sitemap del blog ha 400 pagine e quella dei prodotti ne ha 50, il crawler sa esattamente come distribuire il suo budget. Le pagine prodotto ricevono scansioni più approfondite. Gli articoli recenti del blog vengono scansionati più volte.
Il miglioramento si vede nella velocità di scoperta. Le sitemap segmentate permettono ai crawler AI di scoprire l'intero sito il 34% più in fretta. I siti con un'unica sitemap enorme aspettano 30 giorni per una copertura completa della scansione. I siti con sitemap segmentate vedono la copertura completa in 20 giorni.
Segmentare è semplice. Crei file sitemap separati per le diverse sezioni del tuo sito, poi li elenchi tutti in un file indice delle sitemap. La maggior parte dei sistemi di gestione dei contenuti, WEMASY compreso, genera le sitemap in automatico. La maggior parte delle piattaforme permette anche di segmentarle per tipo o sezione.
Come impostare bene il tag lastmod
Il tag lastmod è il tuo segnale di freschezza per i crawler AI. Quando pubblichi un nuovo contenuto, parte con la data di oggi. Quando aggiorni un vecchio articolo, aggiorni la data lastmod. Il crawler lo vede e sa che qualcosa è cambiato.
Molti siti sbagliano. Pubblicano una pagina a gennaio e la data lastmod resta gennaio per sempre. Aggiornano la pagina a maggio ma dimenticano di aggiornare la sitemap. Il crawler non vede nessun cambiamento e dà meno priorità a una nuova scansione.
Per le piattaforme AI, è un errore grave. Perplexity usa in modo specifico la freschezza dei contenuti per decidere se citarti. Una pagina con un tag lastmod superato sembra vecchia. Una pagina con un tag lastmod aggiornato sembra fresca. Se curi i tuoi contenuti e li aggiorni con regolarità, assicurati che la tua sitemap lo rifletta.
Il modo migliore è automatizzare. I plugin dei CMS, le app per negozi e la maggior parte delle piattaforme di contenuti moderne aggiornano in automatico la data lastmod ogni volta che modifichi una pagina. Imposti una volta e te ne dimentichi. I crawler vedono segnali freschi in continuazione.
Che cosa fa IndexNow che le sitemap non possono fare
Una sitemap è passiva. La crei. La pubblichi. Poi aspetti che i crawler la scoprano. I crawler visitano la tua sitemap secondo i loro tempi, non i tuoi. Se un bot passa una volta alla settimana, i tuoi nuovi contenuti aspettano una settimana per essere scoperti.
IndexNow ribalta la situazione. Invece di aspettare i crawler, li avvisi tu in modo attivo. Nel momento in cui pubblichi una pagina, IndexNow manda un ping ai motori di ricerca che dice "ehi, ho appena pubblicato questa". Quattro importanti motori di ricerca diversi da Google supportano IndexNow. Invii a un solo endpoint API e tutti e quattro ricevono la notifica.
IndexNow è gratuito e open source. È stato sviluppato da diverse aziende di motori di ricerca proprio per risolvere il problema della scoperta lenta. Prima di IndexNow, i professionisti SEO dovevano affidarsi ai backlink o alla scansione spontanea per far notare i nuovi contenuti. Con IndexNow, controlli tu l'annuncio.
L'impatto è immediato. Senza IndexNow, una nuova pagina resta sul tuo server ad aspettare. Con IndexNow, la pagina viene scansionata nel giro di ore, a volte di minuti. Passi da una finestra di scoperta di giorni a una di ore.
Come funziona IndexNow insieme alla tua sitemap
IndexNow e le sitemap non sono concorrenti. Lavorano insieme. La tua sitemap dice ai crawler la struttura e la priorità dei tuoi contenuti. IndexNow dice ai crawler che qualcosa è cambiato proprio adesso.
Ecco il flusso. Pubblichi una nuova pagina. IndexNow manda in automatico una notifica ai motori di ricerca con quel nuovo URL. Il crawler riceve la notifica e visita subito. Quando arriva, legge la tua sitemap per capire il contesto. È una pagina prioritaria o a bassa priorità? È stata aggiornata dall'ultima scansione? Fa parte di un cluster di contenuti?
La sitemap dà contesto al crawler. IndexNow gli dà velocità. Senza sitemap, il crawler sa che una pagina esiste ma non sa come darle priorità né se scansionare le pagine correlate. Con i due strumenti insieme, la scoperta diventa rapida e intelligente.
Come configurare IndexNow
IndexNow richiede tre cose. Una chiave API che dimostra che sei il proprietario del dominio. Un file di verifica ospitato sul tuo dominio che dimostra la proprietà. E un meccanismo di invio per mandare gli URL all'API di IndexNow.
Se il tuo CMS ha un plugin ufficiale per IndexNow, gestisce tutto in automatico. Lo attivi e genera la tua chiave, crea il file di verifica e invia gli URL ogni volta che pubblichi o aggiorni un contenuto. Nessuna configurazione oltre a cliccare su installa.
Se usi WEMASY o un'altra piattaforma moderna, la maggior parte delle piattaforme di hosting include l'integrazione con IndexNow. Controlla le impostazioni di pubblicazione. Se è disponibile, attivala.
Se gestisci il tuo server o usi una piattaforma senza integrazione, puoi inviare gli URL a mano tramite il sito di IndexNow o con chiamate API dirette. La documentazione di IndexNow spiega entrambi gli approcci.
Quali crawler supportano IndexNow e perché conta
IndexNow è supportato da quattro importanti motori di ricerca diversi da Google. Sono le principali piattaforme di ricerca al di fuori di Google.
Ecco la sorpresa. ChatGPT scansiona insieme a queste piattaforme. Quando scansiona uno di questi motori di ricerca, spesso arriva con lui anche GPTBot. Quando scansiona un altro di questi motori, la notifica può accelerare l'indicizzazione per Perplexity e altri sistemi AI che si appoggiano a un'infrastruttura di crawler simile.
Google non supporta ufficialmente IndexNow. È una differenza che vale la pena capire. Google ha un suo sistema di scoperta delle scansioni. Google Search Console ha un ruolo simile a IndexNow, ma specifico per Google. Per il resto dell'ecosistema AI, però, IndexNow è il modo in cui annunci i nuovi contenuti.
Molti team usano insieme gli invii a Google Search Console e a IndexNow. Google viene avvisato tramite Search Console. Il resto dell'ecosistema AI viene avvisato tramite IndexNow. Questo doppio approccio riduce i tempi di scoperta su tutte le piattaforme.
Il vantaggio di scoperta quando questi strumenti lavorano insieme
Senza nessuno di questi strumenti, succede questo. Pubblichi una pagina il lunedì. Un crawler visita il tuo sito in qualche momento di quella settimana e la scopre. Entro venerdì, il crawler l'ha elaborata. Entro il lunedì successivo, potrebbe comparire in alcuni risultati. La scoperta completa su più piattaforme AI richiede settimane.
Con la sola sitemap, la scoperta accelera. Il crawler deve comunque trovare la tua sitemap. Ma quando la trova, sa dove cercare i tuoi contenuti più recenti. Se la tua sitemap è ottimizzata, riduci i tempi di scoperta da settimane a 5-7 giorni.
Con il solo IndexNow, una pagina viene annunciata subito. Ma senza il contesto della sitemap, il crawler non sa se questa pagina è collegata ad altri contenuti correlati. Scansiona l'URL in sé ma può perdere il cluster tematico. La scoperta è rapida ma incompleta.
Con i due strumenti insieme, ottieni una scoperta rapida e intelligente. IndexNow annuncia subito la pagina. Il crawler la scansiona nel giro di ore. La tua sitemap gli dice che fa parte di una serie di tre articoli sullo stesso tema. Il crawler dà priorità alla serie. Tutti e tre gli articoli vengono scoperti e indicizzati entro 24 ore. Perplexity nota il cluster fresco. Quando qualcuno fa una domanda nell'area tematica, i tuoi contenuti sono disponibili da citare. Sei passato da settimane a ore.
Domande frequenti
Servono sia una sitemap sia IndexNow, o ne basta uno?
Servono entrambi. Le sitemap dicono ai crawler struttura e priorità dei tuoi contenuti. IndexNow dice loro che qualcosa è cambiato proprio adesso. Una sitemap senza IndexNow significa scoperta lenta. IndexNow senza una sitemap significa scoperta rapida delle singole pagine ma nessun contesto sui contenuti correlati. I due strumenti insieme ti danno velocità e intelligenza. Con il creatore di siti di WEMASY puoi impostare tutto direttamente sul tuo sito.
IndexNow funziona per i crawler AI come GPTBot e Perplexity?
IndexNow è supportato in modo ufficiale da quattro importanti motori di ricerca diversi da Google. ChatGPT scansiona insieme a uno di questi motori, quindi le notifiche di IndexNow spesso fanno partire le scansioni di GPTBot. Perplexity scansiona il web direttamente e risponde anche agli aggiornamenti delle sitemap. Quindi, anche se IndexNow non è un prodotto ufficiale di Perplexity, accelera comunque la scoperta, perché Perplexity usa un'infrastruttura simile a quella di altre piattaforme supportate.
Ogni quanto devo aggiornare la mia sitemap se pubblico contenuti in continuazione?
Se pubblichi di frequente, automatizza gli aggiornamenti della sitemap. La maggior parte dei sistemi di gestione dei contenuti aggiorna le sitemap in automatico ogni volta che pubblichi o modifichi una pagina. Anche il tag lastmod si aggiorna da solo. Non dovresti aggiornare a mano il file della sitemap. Imposta l'automazione e lasciala lavorare in background.
Devo creare una sitemap grande o più sitemap segmentate?
Le sitemap segmentate funzionano il 67% meglio di un unico file enorme. Se hai più di 500 pagine, dividi la sitemap in segmenti per tipo di contenuto o sezione. Creane una per gli articoli del blog, una per i prodotti, una per le guide e così via. Poi elenca tutte le sitemap dei segmenti in un file indice delle sitemap. I crawler scoprono più contenuti più in fretta perché gli hai detto esattamente dove cercare ciò che conta di più per te.
E se uso WEMASY o un'altra piattaforma che genera le sitemap in automatico?
La maggior parte delle piattaforme moderne gestisce sitemap e integrazione con IndexNow al posto tuo. Controlla le impostazioni del sito. Se la tua piattaforma supporta IndexNow, attivalo. Se genera le sitemap in automatico (come fa la maggior parte), verifica che le date lastmod si aggiornino correttamente quando pubblichi o modifichi i contenuti. Se l'automazione funziona, non devi fare altro.
Quanto tempo ci vuole perché i contenuti compaiano nelle risposte AI dopo l'invio con IndexNow?
La velocità di scoperta varia. Alcuni crawler AI raggiungono i tuoi contenuti nel giro di pochi minuti da un invio a IndexNow. Altri ci mettono fino a 24 ore. Perplexity tende a essere il più rapido. La comparsa vera e propria nelle risposte AI dipende dal fatto che i tuoi contenuti siano abbastanza buoni da essere citati. Il fatto che un crawler trovi la tua pagina non significa che un motore AI la userà. Una scoperta più rapida aiuta, ma la qualità dei contenuti conta di più. Se la tua pagina risponde direttamente alla domanda e ha dati freschi, hai una possibilità. Se è scarna o vaga, una scoperta rapida non serve.