Nella stadio tra scansione (se no crawling) i crawler prelevano il contenuto delle pagine web, utilizzando i link Per mezzo di loro presenti In rintracciare nuove pagine. Questo a loro permette nato da rintracciare i contenuti presenti sul web. Ci sono diversi aspetti Per questo andamento proveniente da cui parleremo.Un meta tag robot è un pandett