crawling

Deep Crawl bezeichnet die von Suchmaschinen verwendete Methode der Webseitenindizierung, bei der der Suchmaschinen-Crawler weit in die Verzeichnisstruktur der Website eindringt und dafür sorgt, dass auch Unterseiten einer Website als eigenständige Seiten...

Im Zusammenhang mit Suchmaschinen werden frische Crawls im Allgemeinen als oberflächliche Suchanfragen von Webseiten definiert. Das Crawling ermöglicht es den Webcrawlern von Google, dem Googlebot, neue und aktualisierte Seiten zu finden, die indiziert...

Spider ist die Bezeichnung für Internet-Bots, die von Suchmaschinen eingesetzt werden, um Webseiten zu crawlen und Informationen zu holen, die in die Suchmaschinenergebnisse aufgenommen werden sollen. Jede Suchmaschine hat ihren eigenen Spider, der...