Die robots.txt ist eine kleine Textdatei auf dem Server einer Website. Sie sagt Suchmaschinen, welche Bereiche sie besuchen dürfen und welche nicht.
Wenn eine Suchmaschine eine Website besucht, schaut sie zuerst in die Datei robots.txt. Dort steht, welche Bereiche sie lesen darf und welche sie auslassen soll, zum Beispiel interne Verwaltungsseiten.
Die Datei ist eine Bitte an die Suchmaschine, kein Schloss. Seriöse Suchmaschinen halten sich daran, vertrauliche Inhalte schützt sie nicht.
Ein einziger falscher Eintrag kann dazu führen, dass eine ganze Website aus den Suchergebnissen verschwindet. Deshalb lohnt sich ein Blick, vor allem nach einem Relaunch.
Wird Ihre Website richtig gelesen?
In einer persönlichen Analyse prüfe ich, ob Suchmaschinen Ihre Seiten finden und lesen können, und sage Ihnen, was zuerst angegangen werden sollte.
Website-Check starten