robotos.txt

« Kanzleimarketing für Rechtsanwälte - Lexikon A-Z

In eine Textdatei mit dem Dateinamen „robots.txt“ kann man eintragen, welche Dateien von Suchmaschinen erfasst werden sollen und welche nicht.

Beispiel für Standard-WordPress:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Das bedeutet: Alle Suchmaschinen („*“) sollen das Verzeichnis /wp-admin/ ausklammern („Disallow“) mit Ausnahme der Datei admin-ajax.php („Allow“).

Die robots.txt muss im Root-Verzeichnis der Website liegen.

Technisch bleibt alles abrufbar (also kein Zugriffschutz wie z. B. per .htaccess-Datei), aber die gängigen Suchmaschinen halten sich an die Anweisungen in der robots.txt .

« Kanzleimarketing für Rechtsanwälte - Lexikon A-Z