Robots.txt für WordPress erstellen

- Tipps & Plugin -

Im folgenden Artikel erkläre ich dir, wie du die optimale robots.txt-Datei für deine WordPress-Seite erstellst. Dabei gehe ich sowohl auf eine manuelle Erstellung ein, als auch mit Hilfe eines Plugins.

Jetzt lesen

Früher oder später wird man als Webmaster mit der robots.txt konfrontiert. Diese Datei gibt den Crawlern Auskunft darüber, welche Unterseiten relevant für sie sind und welche diese somit in ihren Index aufnehmen sollen und welche nicht.

Bitte beachtet das Update am Ende des Beitrages, da Google seine Richtlinien bzgl. des Crawlens von Webseiten geändert hat.

Virtuelle WordPress robots.txt und Codex-Empfehlung

WordPress liefert von Haus aus eine virtuelle robots.txt-Datei aus, die allerdings ausbaufähig ist. Der Inhalt dieser Datei sieht wie folgt aus:

Damit sagt ihr: Egal welcher Crawler (User-agent: *) vorbeikommt, er darf die komplette Seite in den Index aufnehmen, bis auf die Verzeichnisse „/wp-admin/“ und „/wp-includes/“.

WordPress selbst gibt im Codex als Empfehlung an, die robots.txt-Datei leer zu lassen und lediglich den Pfad zur Sitemap einzutragen. Das würde wie folgt aussehen:

Könnte man so übernehmen und würde sichergehen, dass der Crawler alle Dateien aufrufen kann. Dennoch sollte man meiner Meinung nach einige Zeilen zusätzlich mit aufnehmen, um das Risiko von Duplicate Content so gering wie möglich zu halten. Daher lautet meine Empfehlung:

Hierbei werden vor allem von WordPress automatisch angelegte Trackback-, Feed- und Kommentarseiten ausgeschlossen, die keinen Mehrwert für den User haben und somit auch nichts im Index verloren haben. Der Pfad zur Sitemap wird ebenfalls hinterlegt und sollte natürlich an die eigene URL-Struktur angepasst werden.

Das „/wp-includes/“-Verzeichnis sollte auf jeden Fall zugelassen werden, da hierrüber jQuery ausgeliefert wird, worauf einige weitere Plugins aufbauen.

robots.txt selbst erstellen

Wie bereits beschrieben, liefert WordPress von Haus aus eine virtuelle robots.txt-Datei aus. Diese wird über die wp-functions.php erstellt und ausgeliefert. Ihr könnt die Ausgabe bereits hier ändern, bei einem WordPress-Update wäre allerdings der Standard wiederhergestellt, weshalb sich diese Vorgehensweise nicht empfiehlt.

Am besten ist es, ihr erstellt euch in einem Texteditor eine neue Datei und speichert diese unter dem Namen robots.txt im root-Verzeichnis eures Servers ab. Sobald solch eine Datei vorliegt, hat sie vor der virtuellen Vorrang und wird somit auch an alle Crawler ausgeliefert. Als Inhalt könnt ihr meine Empfehlung verwenden, damit dürfte alles wichtige abgedeckt aber auch zugänglich sein. Vergesst allerdings nicht in der letzten Zeile den Pfad zu eurer Sitemap anzupassen!

Solltet ihr das Plugin WordPress SEO by Yoast installiert haben, so könnt ihr die Datei nach erfolgreichem Upload über das Plugin verwalten. Navigiert hierzu einfach im Backend zum Menüpunkt „SEO -> Werkzeuge -> Datei-Editor“.

robots.txt über WordPress SEO verwalten
Kennst du schon unseren Wartungsservice?
Profitiere noch bis zum 31.07. von unserem Neukundenangebot und spare über 40%. Lass uns die nervige Arbeit machen und konzentriere dich auf das Wesentliche!

Download: WP Robots Txt

WP Robots Txt
WP Robots Txt
Entwickler: Christopher Davis
Preis: Kostenlos

Via WP Robots Txt-Plugin erstellen

Wer allerdings kein FTP-Zugriff hat, oder aus sonstigen Gründen keine robots.txt-Datei auf seinem Server erstellen kann, der kann auf das Plugin WP Robots Txt zurückgreifen. Nach erfolgreicher Installation findet ihr unter „Einstellungen -> Lesen“ ganz unten auf der Seite ein neues Textfeld, in welches ihr den gewünschten Inhalt eintragen könnt. Abspeichern und schon habt ihr eure Datei erstellt.

Welche Verzeichnisse ihr ausschließt – ob ihr z.B. noch die Tag-Seiten auf Disallow stellt um möglichen Duplicate Content zu vermeiden – hängt natürlich von euren Präferenzen ab.

Update 2015 – JS- & CSS-Dateien nicht blockieren

Wie in den Kommentaren bereits angemerkt, hat Google seine Richtlinien Ende 2014 geändert und rendert die Webseiten nun vollständig wie ein normaler Browser. Dazu braucht der Crawler auch Zugriff auf alle CSS- und JavaScript-Dateien. Ich habe deshalb den Beitrag auf den neuesten Stand gebracht und auch eine Empfehlung meinerseits eingefügt.

Falls ihr Verbesserungsvorschläge oder Anmerkungen habt, hinterlasst einfach einen Kommentar.

Autor: Denis Brediceanu
Autor: Denis Brediceanu
Online Marketing Berater, WordPress Webentwickler und Gründer von WPcorner.de aus Leidenschaft. Ich helfe gerne Menschen, im Internet mit ihrer Idee Fuß zu fassen. Die Technik sollte niemandem im Weg stehen, seine Träume zu verwirklichen!