A B C D F G H I K L M N O P Q R S T U W

Crawler

Crawler sind, ebenso wie Bots und Spiders, Programme, mit Hilfe derer das Internet nach neuen Websites und neuen Inhalten durchsucht wird. Wenn Veränderungen an Deiner Website durchgeführt werden, beispielsweise eine neue Unterseite erstellt wird, registrieren Suchmaschinen diese Veränderung erst, sobald die Seite gecrawlt, also vom Crawler erfasst, wurde.