Un crawler, chiamato anche web crawler o spider, è un software che i motori di ricerca usano per esplorare e indicizzare le pagine di internet. Il suo compito principale è visitare i siti, leggerne i contenuti e raccogliere informazioni per costruire un indice che i motori di ricerca usano per mostrare risultati pertinenti.
Il crawler segue i link da una pagina all'altra e raccoglie dati sul contenuto, sulla struttura e su altri fattori importanti di ogni pagina. Questi dati aiutano i motori di ricerca a capire di cosa parla una pagina, così possono posizionarla nel modo giusto nei risultati. I crawler fanno sì che i motori di ricerca abbiano informazioni aggiornate e mostrino agli utenti risultati precisi e pertinenti.