I bot dei motori di ricerca visitano il tuo sito di continuo. Scansionano le pagine, seguono i link e controllano gli aggiornamenti. Ma questa attività non si vede in Google Search Console. Si vede solo nei log del server. I log del server registrano ogni richiesta al tuo server: quale bot l'ha fatta, quale pagina ha scansionato, quanto tempo ci ha messo e quale codice di risposta ha ricevuto. L'analisi dei log rivela come i motori di ricerca trattano davvero il tuo sito.
Cosa sono i log del server?
I log del server sono registrazioni di ogni richiesta al tuo web server. Ogni riga rappresenta una richiesta. Il log mostra l'indirizzo IP del visitatore, cosa ha richiesto, quando l'ha richiesto, quale codice di risposta ha restituito il server e quanti dati sono stati inviati.
Ogni provider di hosting conserva i log del server. Puoi accedervi dal pannello di controllo dell'hosting o via FTP. I formati di log più comuni sono i log di accesso dei web server più diffusi. La maggior parte dei provider di hosting ti permette di scaricare i log per analizzarli.
I file di log possono essere enormi. Un sito molto visitato genera gigabyte di log al giorno. Per analizzarli servono degli strumenti. Non puoi leggere a mano milioni di righe di log.
Capire gli user-agent dei crawler
Ogni bot si identifica con una stringa user-agent. Googlebot è il crawler di Google. Gli altri motori di ricerca hanno i propri bot.
Puoi filtrare i log per user-agent per vedere solo le richieste di crawler specifici. Così scopri quanto spesso ogni motore di ricerca scansiona il tuo sito.
Fai attenzione agli user-agent falsi. Chi ha cattive intenzioni si finge un motore di ricerca. Una stringa user-agent che dice "Googlebot" può non essere davvero Googlebot. Verifica l'indirizzo IP. Gli indirizzi IP del vero Googlebot sono pubblicati da Google.
Cosa puoi imparare dai log
Frequenza di scansione: ogni quanto ogni motore di ricerca scansiona il tuo sito? Ogni giorno? Ogni settimana? Più volte al giorno? La frequenza di scansione indica quanto Google dà valore al tuo sito.
Schemi di scansione: quali pagine visita il crawler? Scansiona più spesso le pagine importanti? Perde tempo su pagine poco importanti? Questo rivela come viene distribuito il crawl budget.
Codici di risposta: le pagine restituiscono 200 (successo) o errori? Molti errori 4xx o 5xx indicano problemi.
Velocità di scansione: quanto tempo passa il bot a scansionare? Scansioni veloci indicano che le pagine si caricano in fretta. Scansioni lente indicano problemi di prestazioni.
Comportamento dei bot: i bot seguono robots.txt? Rispettano nofollow? Scansionano immagini e CSS? Questo rivela se la tua configurazione tecnica è corretta.
Come analizzare i log
Scarica i tuoi log. Vai nel pannello di controllo dell'hosting, trova la sezione dei log e scarica i log di accesso per il periodo che vuoi analizzare.
Usa strumenti di analisi dei log. Gli analizzatori di file di log leggono i log ed estraggono informazioni utili. Questi strumenti filtrano per user-agent, indirizzo IP, codice di risposta e altro ancora.
Filtra per i crawler. Concentrati sulle richieste dei bot dei motori di ricerca. Escludi il traffico normale degli utenti. Così isoli il comportamento dei crawler.
Analizza gli schemi. Guarda l'andamento della frequenza di scansione. Le scansioni aumentano o diminuiscono? Gli errori crescono? Gli schemi di scansione corrispondono a ciò che ti aspetti?
Risultati comuni dell'analisi dei log
Pagine poco importanti scansionate più di quelle importanti. Indica un problema di struttura del sito. Le pagine importanti dovrebbero essere scansionate più spesso. Usa robots.txt o i link interni per dare priorità alle pagine importanti.
Alta percentuale di errori. Molte risposte 4xx o 5xx indicano pagine rotte o problemi del server. Correggi gli errori per migliorare la scansionabilità.
Bassa frequenza di scansione. Se i motori di ricerca scansionano il tuo sito raramente, può indicare poca autorevolezza o contenuti di scarsa qualità. Migliora contenuti e backlink per attirare più scansioni.
Bot che scansionano pagine bloccate. Se robots.txt blocca delle pagine ma i crawler le richiedono comunque, i bot stanno ignorando le tue regole di blocco. Di solito è innocuo.
I limiti dell'analisi dei log
L'analisi dei log mostra le richieste al tuo server, ma non tutta l'attività dei crawler. Alcuni motori di ricerca usano la cache. Possono non scansionare ogni URL ogni volta. Le scansioni dalla cache non compaiono nei log.
L'analisi dei log non mostra le decisioni di indicizzazione. Il fatto che una pagina sia stata scansionata non significa che sia stata indicizzata. I motori di ricerca scansionano e scartano pagine in continuazione.
I file di log grandi sono difficili da gestire. Un sito molto visitato genera log enormi. Analizzare gigabyte di dati richiede strumenti potenti e competenze.
I dati dei log sono tecnici. Richiedono di capire le risposte HTTP, le stringhe user-agent e il comportamento del server. Non è un lavoro per principianti.
Domande frequenti
Dove trovo i log del mio server?
Il tuo provider di hosting ha i log del server. Accedi al pannello di controllo dell'hosting e cerca una sezione chiamata Log o Statistiche. La maggior parte dei provider ti permette di scaricare i log grezzi. Alcuni offrono visualizzatori di log. Se non li trovi, contatta il tuo provider di hosting. Con il creatore di siti di WEMASY puoi impostarlo direttamente sul tuo sito.
Per quanto tempo si conservano i log del server?
Dipende dall'host. Alcuni provider conservano i log per 30 giorni, altri per 90 giorni. Gli host per grandi aziende possono conservare i log per anni. Controlla la documentazione del tuo hosting. Se ti servono log storici, scaricali e archiviali con regolarità.
Devo analizzare i log da solo o rivolgermi a qualcuno?
Per la maggior parte dei siti Google Search Console è sufficiente. L'analisi dei log è avanzata e tecnica. Usa i log solo se GSC non ti dà le risposte che cerchi. Se fai l'analisi dei log, usa un analizzatore di file di log dedicato. Se non hai le competenze, rivolgiti a un consulente SEO.
Posso usare i log per individuare i bot dannosi?
Sì. I log mostrano tutte le richieste, compresi i bot dannosi. Cerca stringhe user-agent insolite, un numero di richieste molto alto o schemi di scansione senza senso. I bot dannosi spesso scansionano il tuo sito molto più velocemente dei crawler legittimi. Puoi bloccarli con robots.txt o con il firewall.
Analizzare i log aiuta a migliorare il mio posizionamento?
Indirettamente. L'analisi dei log ti aiuta a capire i problemi di scansione, i problemi di struttura del sito e i colli di bottiglia delle prestazioni. Correggerli migliora il sito sia per i crawler sia per gli utenti, e questo può migliorare il posizionamento. Ma i log sono uno strumento di diagnosi, non un fattore di posizionamento.
Che differenza c'è tra i log e i dati di Search Console?
I log mostrano ogni richiesta al tuo server. Search Console mostra cosa ha fatto Google con quelle richieste (indicizzata, scartata e così via). I log sono dati grezzi. Search Console è l'interpretazione dei dati da parte di Google. Usali insieme per avere un quadro completo.