Was ist Robots.txt?
Robots.txt ist eine Textdatei, die Webmaster erstellen, um Crawling-Anweisungen für Benutzer-Agenten, in der Regel Suchmaschinen-Roboter, bereitzustellen. Die robots.txt-Dateien enthalten Richtlinien darüber, welche Teile Ihrer Website von Web-Robotern...