Was ist Deep Crawl?
Deep Crawl bezeichnet die von Suchmaschinen verwendete Methode der Webseitenindizierung, bei der der Suchmaschinen-Crawler weit in die Verzeichnisstruktur der Website eindringt und dafür sorgt, dass auch Unterseiten einer Website als eigenständige Seiten bewertet und indiziert werden. Das Verfahren umfasst eine vollständige Durchsuchung von Webseiten, die über Deep Links miteinander vernetzt sind.
Der Deep Crawl ist ein komplexer und zeitaufwändiger Prozess, da er sich auf eine bestimmte Website konzentriert und diese nach tieferen Links durchforstet. Aus diesem Grund findet ein Deep Crawl nur in unregelmäßigen Abständen statt, im Gegensatz zu einem Fresh Crawl, der zwar viel schneller ist, aber nur die Oberfläche zur Analyse heranzieht. Deep Crawl ermöglicht es, dass die Unterseiten einer Website in den Suchergebnisseiten für ein bestimmtes Keyword erscheinen. Ohne diese Crawling-Methode wird den Nutzern in den Suchergebnissen nur die Startseite angezeigt. Das Verständnis der Prinzipien von Deep- und Fresh-Crawling-Methoden ist wichtig für eine effektive Suchmaschinenoptimierung (SEO).
