Robots.txt für WordPress erstellen



Denis Brediceanu

}

25. Januar 2014

Please enable the breadcrumb option to use this shortcode!

Früher oder später wird man als Webmaster mit der robots.txt konfrontiert. Diese Datei gibt den Crawlern Auskunft darüber, welche URLs relevant für sie sind und welche diese somit überhaupt besuchen bzw. „abarbeiten“ dürfen.

Im folgenden Artikel erkläre ich dir, wie du die optimale robots.txt-Datei für deine WordPress-Seite erstellst. Dabei gehe ich sowohl auf eine manuelle Erstellung ein, als auch mit Hilfe eines Plugins.

Update 2015 – JS- & CSS-Dateien nicht blockieren

Wie in den Kommentaren bereits angemerkt, hat Google seine Richtlinien Ende 2014 geändert und rendert die Webseiten nun vollständig wie ein normaler Browser. Dazu braucht der Crawler auch Zugriff auf alle CSS- und JavaScript-Dateien. Ich habe deshalb den Beitrag auf den neuesten Stand gebracht und auch eine Empfehlung meinerseits eingefügt.

Virtuelle WordPress robots.txt und Codex-Empfehlung

WordPress liefert von Haus aus eine virtuelle robots.txt-Datei aus, die allerdings ausbaufähig ist. Der Inhalt dieser Datei sieht wie folgt aus:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/

Damit sagst du: Egal welcher Crawler (User-agent: *) vorbeikommt, er hat Zugriff auf die komplette Website, bis auf die Verzeichnisse „/wp-admin/“ und „/wp-includes/“.

WordPress selbst gibt im Codex als Empfehlung an, die robots.txt-Datei leer zu lassen und lediglich den Pfad zur Sitemap einzutragen. Das würde wie folgt aussehen:

User-agent: *

Sitemap: http://www.example.com/sitemap.xml

Könnte man so übernehmen und würde sichergehen, dass der Crawler alle Dateien aufrufen kann.

Dennoch sollte man meiner Meinung nach einige zusätzliche Zeilen mit aufnehmen, damit der Crawler möglichst schnell die wirklich relevanten URLs abarbeiten kann und sich nicht unnötig mit duplikaten oder „Thin Content“ aufhält. Daher lautet meine Empfehlung:

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Allow: /wp-admin/admin-ajax.php

Sitemap: http://deinedomain.de/sitemap.xml

Hierbei werden vor allem von WordPress automatisch angelegte Trackback-, Feed- und Kommentarseiten ausgeschlossen, die keinen Mehrwert für den User haben und somit auch nicht unbedingt vom Cralwer besucht werden müssen.

Der Pfad zur Sitemap wird ebenfalls hinterlegt und sollte natürlich an die eigene URL-Struktur angepasst werden.

Das „/wp-includes/“-Verzeichnis sollte auf jeden Fall zugelassen werden, da hierrüber jQuery ausgeliefert wird, worauf einige weitere Plugins aufbauen.

robots.txt selbst erstellen

Wie bereits beschrieben, liefert WordPress von Haus aus eine virtuelle robots.txt-Datei aus. Diese wird über die wp-functions.php erstellt und ausgeliefert.

Du kannst die Ausgabe bereits hier ändern, vorausgesetzt du benutzt ein Child-Theme. Sonst würde bei einem WordPress-Update der Standard wiederhergestellt, weshalb sich diese Vorgehensweise ohne Child-Theme nicht empfiehlt.

Am besten ist es, du erstellst dir in einem Texteditor eine neue Datei und speicherst diese unter dem Namen robots.txt im root-Verzeichnis deiner WordPress-Installation ab.

Sobald diese Datei vorliegt, hat sie vor der virtuellen Vorrang und wird somit auch an alle Crawler ausgeliefert. Als Inhalt kannst du meine Empfehlung verwenden, damit dürfte alles wichtige abgedeckt und auch zugänglich sein.

Vergiss allerdings nicht in der letzten Zeile den Pfad zu deiner Sitemap anzupassen!

Solltest du das Plugin WordPress SEO by Yoast installiert haben, kannst du die Datei nach erfolgreichem Upload über das Plugin verwalten.

Navigiere hierzu einfach im Backend zum Menüpunkt „SEO -> Werkzeuge -> Datei-Editor“.

Via WP Robots Txt-Plugin erstellen

Wer allerdings kein FTP-Zugriff hat, oder aus sonstigen Gründen keine robots.txt-Datei auf seinem Server erstellen kann, der kann auf das Plugin WP Robots Txt zurückgreifen.

Nach erfolgreicher Installation findest du unter „Einstellungen -> Lesen“ ganz unten auf der Seite ein neues Textfeld, in welches du den gewünschten Inhalt eintragen kannst. Abspeichern und schon hast du deine Datei erstellt.

Download: WP Robots Txt

Download QR-Code

WP Robots Txt

Entwickler: George Pattichis

Preis: Kostenlos

Welche Verzeichnisse du ausschließt – ob du z.B. noch die Tag-Seiten auf Disallow stellst, da sie dem Besucher ebenfalls keinen Mehrwert bieten – hängt natürlich von deinen Präferenzen und der Struktur deiner Website ab.

Falls du Verbesserungsvorschläge, Anmerkungen oder eine eigene Empfehlung für die optimale robots.txt Datei hast, hinterlasse doch einfach einen Kommentar.