Robots.txt
Christian Ohme Zuletzt aktualisiert am 24. September 2022  Views: 405
  1. Glossar
  2. Was ist Robots.txt

Was ist Robots.txt?

Robots.txt ist eine Textdatei, die Webmaster erstellen, um Crawling-Anweisungen für Benutzer-Agenten, in der Regel Suchmaschinen-Roboter, bereitzustellen. Die robots.txt-Dateien enthalten Richtlinien darüber, welche Teile Ihrer Website von Web-Robotern gecrawlt werden können und welche nicht gecrawlt werden sollen, indem das Verhalten bestimmter User-Agents zugelassen oder untersagt wird. Sie enthält auch Anweisungen, wie Suchmaschinen die auf einer Webseite gefundenen Links behandeln sollen, einschließlich Follow- und Nofollow-Links.

Eine robots-Datei kann mehrere Zeilen mit User-Agents und Richtlinien enthalten. Seien Sie jedoch vorsichtig, denn das Hinzufügen der falschen Richtlinien kann Suchmaschinen daran hindern, Ihre Seiten zu crawlen, und sich negativ auf Ihr Ranking auswirken. Eine robots.txt-Datei muss außerdem im Top-Level-Verzeichnis oder in der Root-Domain einer Website platziert werden, damit sie von User-Agents entdeckt werden kann. Andernfalls wird die Website so behandelt, als hätte sie gar keine robots-Datei. Robots.txt-Dateien steuern den Zugriff von Benutzeragenten auf bestimmte Bereiche Ihrer Website. Eine robots.txt-Datei kann jedoch nur Anweisungen für Bots bereitstellen, aber diese Anweisungen nicht tatsächlich durchsetzen. Das bedeutet, dass bösartige Bots, wie z. B. Malware-Roboter oder E-Mail-Adressen-Scraper, Ihre robots.txt-Datei ignorieren können.

Das erwartet dich mit Backlinko – deinem
Linkbuilding Partner

Hochwertige Backlinks

Das ist bei uns nicht bloß eine Werbeaussage, sondern wird von unseren Kunden immer wieder bestätigt.

Kompetente Beratung

Gemeinsam finden wir das passende Konzept für deine Webseite und dein Budget - ob einzelne Links oder Linkpakete.

Ein besseres Ranking

Mit zielgerichteten Linkaufbau sorgen wir dafür, dass deine Webseite bessere Platzierungen erreicht.

Persönlicher Ansprechpartner

Du hast bei uns einen festen Ansprechpartner, vom Erstkontakt bis zur Abrechnung – der dir bei allen Fragen gerne weiterhilft.

Tipps & Tricks für dein Linkbuilding

Wir haben nicht nur starke Backlinks für dich – sondern auch geballtes Fachwissen verständlich erklärt, interessante Erfahrungsberichte und vieles mehr. Stöbere jetzt durch unser Lexikon!

Unser Lexikon versorgt dich mit wertvollen Infos zum Thema Backlinks

Für alle die Linkbuilding verstehen und für ihr SEO-Marketing nutzen wollen.

Lass dich unverbindlich beraten!

Gemeinsam schnüren wir ein individuelles Backlinkpaket, welches perfekt zu deiner Webseite und deinem Budget passt!

Christian Ohme