Schloss Robots.txt – Das geheime Kontrollzentrum

Das Schloss ganz tief in Googleonien

Tief in den unterirdischen Gewölben von Googleonien liegt Schloss Robots.txt – verborgen, aber mächtig. Hier wird entschieden, welche Pfade ein Crawler nehmen darf – und welche Tore für immer verschlossen bleiben.

Was ist die robots.txt?

Die Datei robots.txt ist ein Textdokument im Wurzelverzeichnis deiner Website. Sie spricht direkt mit den Crawlern der Suchmaschinen und sagt ihnen: „Hier darfst du rein“ oder „Dieser Bereich bleibt dir verwehrt“.



Warum ist die robots.txt so wichtig?

Schützt sensible oder irrelevante Bereiche vor Indexierung (z. B. Admin-Seiten, Filter-URLs)
Entlastet den Server durch gezieltes Crawler-Management
Verhindert Duplicate Content durch gezielte Sperrung



Aufbau einer typischen robots.txt

User-agent: *

Disallow: /intern/

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

Sitemap: https://www.deineseite.de/sitemap.xml



Achtung, königliche Warnung:

❌ robots.txt ist kein Noindex – sie blockiert nur den Zugriff, nicht die Indexierung, wenn Seiten dennoch verlinkt sind

❌ Falsch eingesetzte Regeln können ganze Burgen (z. B. Blogs oder Produktseiten) für Google unsichtbar machen



Hilfreiche Werkzeuge:

Google Search Console (Testtool für robots.txt)
Screaming Frog (zum Prüfen des Crawler-Verhaltens)

Das Fazit - die robots.txt steuert

Schloss Robots.txt ist das stille Machtzentrum des SEO-Königreichs. Wer hier weise regiert, schützt seine Seiten und lenkt die Aufmerksamkeit der Suchmaschinen gezielt. Doch Achtung: Schon ein falscher Befehl – und das Tor zum Index bleibt für immer verschlossen.