Was ist ein Crawler?
Der Begriff Crawler beschreibt ein Computerprogramm, das von Suchmaschinen verwendet wird, um das Internet automatisch nach Inhalten zu durchsuchen, die indiziert und gegebenenfalls auf der Ergebnisseite der Suchmaschine angezeigt werden sollen. Crawler werden auch als Suchmaschinen-Bots oder Spider bezeichnet, da der Weg, den Crawler nehmen, einem Spinnennetz ähnelt.
Crawler besuchen in der Regel Websites, indem sie Hyperlinks folgen und die von den Website-Eigentümern bereitgestellten Sitemaps verwenden. Sie folgen auch vordefinierten Algorithmen, um den Wert des Inhalts oder die Qualität der Links in ihrem Suchindex zu bewerten, z. B. die Qualität des Inhalts, die Relevanz des Inhalts für die Benutzeranfrage und die Anzahl der Links, die auf den Inhalt verweisen. Crawler arbeiten kontinuierlich und geben neu veröffentlichten Seiten eine Chance, in den Ergebnisseiten der Suchmaschinen zu erscheinen. Jede Suchmaschine hat ihre eigenen Webspider, die Websites untersuchen, Daten sammeln und Suchergebnisse indizieren. Die Google-Suche verwendet beispielsweise den Googlebot, und Bingbot ist der Standard-Crawler für die Bing-Suchmaschine von Microsoft.
