robotos.txt
« Kanzleimarketing für Rechtsanwälte - Lexikon A-Z
In eine Textdatei mit dem Dateinamen „robots.txt“ kann man eintragen, welche Dateien von Suchmaschinen erfasst werden sollen und welche nicht.
Beispiel für Standard-WordPress:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Das bedeutet: Alle Suchmaschinen („*“) sollen das Verzeichnis /wp-admin/ ausklammern („Disallow“) mit Ausnahme der Datei admin-ajax.php („Allow“).
Die robots.txt muss im Root-Verzeichnis der Website liegen.
Technisch bleibt alles abrufbar (also kein Zugriffschutz wie z. B. per .htaccess-Datei), aber die gängigen Suchmaschinen halten sich an die Anweisungen in der robots.txt .
« Kanzleimarketing für Rechtsanwälte - Lexikon A-Z