Googlebot

Googlebot ist ein Webcrawler von Google, der Websites scannt, indexiert und bewertet, um Suchergebnisse zu liefern. Google durchforstet also das Internet nach neuen Inhalten, d. h. klickt quasi auf jeden Link und speichert alles auf seinen Servern.