Robots.txt ist eine Textdatei, die es einer Website ermöglicht, Anweisungen für Web-Crawling-Bots bereitzustellen.
Sie teilt Suchmaschinen wie Google mit, welche Teile Ihrer Website sie beim Indexieren Ihrer Website aufrufen und welche nicht.
Das macht robots.txt zu einem mächtigen Werkzeug für SEO und kann auch verwendet werden, um sicherzustellen, dass bestimmte Seiten nicht in den Google-Suchergebnissen erscheinen.
Wie funktioniert robots.txt?
robots.txt ist eine Textdatei, die Sie erstellen können, um Suchmaschinen-Bots mitzuteilen, welche Seiten auf Ihrer Website gecrawlt und indexiert werden sollen. Sie wird normalerweise im Stammverzeichnis Ihrer Website gespeichert.
Suchmaschinen wie Google verwenden Web-Crawler, manchmal auch Web-Roboter genannt, um Websites zu archivieren und zu kategorisieren. Die meisten Bots sind so konfiguriert, dass sie auf dem Server nach einer robots.txt-Datei suchen, bevor sie andere Dateien von der Website lesen. Ein Bot tut dies, um zu sehen, ob der Eigentümer einer Website spezielle Anweisungen zum Crawlen und Indexieren seiner Website hat.
Die robots.txt-Datei enthält eine Reihe von Anweisungen, die den Bot bitten, bestimmte Dateien oder Verzeichnisse zu ignorieren. Dies kann aus Datenschutzgründen geschehen oder weil der Website-Besitzer glaubt, dass der Inhalt dieser Dateien und Verzeichnisse für die Kategorisierung der Website in Suchmaschinen irrelevant ist.
Hier ist ein Beispiel für eine robots.txt-Datei:
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Sitemap: https://example.com/sitemap_index.xml
In diesem Beispiel gibt der Stern '*' nach 'User-Agent' an, dass die Anweisungen für alle Suchmaschinen gelten.
Als Nächstes erlauben wir Suchmaschinen, Dateien in unserem WordPress-Upload-Ordner zu crawlen und zu indexieren. Dann verbieten wir ihnen das Crawlen und Indexieren von Plugins und WordPress-Admin-Ordnern.
Beachten Sie, dass Suchmaschinen-Bots davon ausgehen, dass sie eine URL indexieren können, wenn Sie sie nicht verbieten.
Abschließend haben wir die URL unserer XML-Sitemap angegeben.
So erstellen Sie eine Robots.txt-Datei in WordPress
Der einfachste Weg, eine robots.txt-Datei zu erstellen, ist die Verwendung von All in One SEO. Es ist das beste WordPress SEO-Plugin auf dem Markt und verfügt über einen einfach zu bedienenden robots.txt-Datei-Generator.
Ein weiteres Tool, das Sie verwenden können, ist WPCode, ein leistungsstarkes Code-Snippet-Plugin, mit dem Sie einfach und sicher benutzerdefinierten Code zu Ihrer Website hinzufügen . Die Pro-Version enthält eine praktische Funktion, mit der Sie die robots.txt-Datei schnell bearbeiten können.
Wenn Sie sich jedoch mit Code auskennen, können Sie die robots.txt-Datei manuell erstellen. Sie benötigen einen FTP-Client , um die robots.txt-Datei zu bearbeiten. Alternativ können Sie den Dateimanager verwenden, der von Ihrem WordPress-Hosting bereitgestellt wird.
Weitere Details zur Erstellung einer robots.txt-Datei finden Sie in unserem Leitfaden zum Thema Optimierung Ihrer WordPress robots.txt für SEO.
So verwenden Sie Robots.txt, um Suchmaschinen vom Crawlen einer Website abzuhalten
Suchmaschinen sind die größte Traffic-Quelle für die meisten Websites. Es gibt jedoch einige Gründe, warum Sie Suchmaschinen davon abhalten möchten, Ihre Website zu indexieren.
Zum Beispiel, wenn Sie Ihre Website noch erstellen, möchten Sie nicht, dass sie in den Suchergebnissen erscheint. Dasselbe gilt für private Blogs und Business-Intranets.
Sie können Disallow-Regeln in Ihrer robots.txt-Datei verwenden, um Suchmaschinen zu bitten, Ihre gesamte Website oder nur bestimmte Seiten nicht zu indexieren. Detaillierte Anweisungen finden Sie in unserem Leitfaden zum Thema Stoppen von Suchmaschinen beim Crawlen einer WordPress-Website.
Sie können Tools wie All in One SEO verwenden, um diese Regeln automatisch zu Ihrer robots.txt-Datei hinzuzufügen.
Es ist wichtig zu beachten, dass nicht alle Bots eine robots.txt-Datei berücksichtigen. Einige bösartige Bots lesen sogar die robots.txt-Datei, um herauszufinden, welche Dateien und Verzeichnisse sie zuerst anvisieren sollen.
Selbst wenn eine robots.txt-Datei Bots anweist, bestimmte Seiten der Website zu ignorieren, können diese Seiten trotzdem in den Suchergebnissen erscheinen, wenn sie mit anderen gecrawlten Seiten verknüpft sind.
Wir hoffen, dieser Artikel hat Ihnen geholfen, mehr über robots.txt in WordPress zu erfahren. Möglicherweise möchten Sie auch unsere untenstehende Liste mit zusätzlichen Lesehinweisen für verwandte Artikel über nützliche WordPress-Tipps, Tricks und Ideen sehen.
Wenn Ihnen dieser Artikel gefallen hat, abonnieren Sie bitte unseren YouTube-Kanal für WordPress-Video-Tutorials. Sie finden uns auch auf Twitter und Facebook.
Zusätzliche Lektüre
- Was ist eine XML-Sitemap? So erstellen Sie eine Sitemap in WordPress
- So verhindern Sie, dass Suchmaschinen eine WordPress-Website crawlen
- SEO
- So blenden Sie eine WordPress-Seite vor Google aus (4 Methoden)
- So optimieren Sie Ihre WordPress Robots.txt für SEO
- So fügen Sie Ihre WordPress-Website zur Google Search Console hinzu
