AI SEO Tools Hub

Kostenloses SEO-Tool

Robots.txt-Generator

Erstelle eine saubere robots.txt im Browser. Starte von einem Preset, lege Allow- und Disallow-Regeln pro User-Agent fest, füge deine Sitemap hinzu und kopiere das Ergebnis — oder füge eine bestehende Datei ein, um sie zu validieren. Kein Signup.

  • Kostenlos
  • Kein Signup
  • Live-Validator
  • Läuft im Browser
robots.txt 
 
 
 
 
   
  
 
 
  
 
 
So funktioniert es
 
     
  1.  01 
     Von einem Preset starten 
    Alles erlauben, alles blockieren, WordPress oder gängige KI-Bots blockieren — dann anpassen.
     
     
  2.  02 
     Regeln festlegen 
    Füge User-Agent-Gruppen mit Allow- und Disallow-Pfaden hinzu, und bei Bedarf ein Crawl-delay.
     
     
  3.  03 
     Sitemap hinzufügen 
    Trage deine Sitemap-URL ein — die eine Direktive, die jede robots.txt für die Auffindbarkeit haben sollte.
     
     
  4.  04 
     Kopieren oder validieren 
    Kopiere oder lade robots.txt herunter, oder wechsle zu Validieren, um eine bestehende Datei auf Fehler zu prüfen.
     
     
    5.  
 
 
  
 
 
Nächster Schritt
 
  Workflow → Schema-Markup-Generator Runde die technischen Grundlagen ab — generiere gültiges JSON-LD für deine Seiten.   Verglichen → Doing this by hand for every page?  See our side-by-side of the leading AI SEO tools — compared on capabilities, pricing and fit, with hands-on scores landing as testing completes.   
 
 
  
 
 
Häufig gestellte Fragen
 
Häufig gestellte Fragen
 
 
 
Wohin gehört robots.txt?
 
In das Stammverzeichnis deiner Domain: deinedomain.de/robots.txt. Sie muss genau dort liegen — Crawler suchen nicht in Unterordnern. Lade die hier erzeugte Datei in das Root-Verzeichnis deiner Website.
 
 
Steuert robots.txt die Indexierung?
 
Nicht direkt. Disallow hält konforme Crawler davon ab, eine URL abzurufen, aber eine blockierte URL kann trotzdem indexiert werden, wenn andere Seiten darauf verlinken. Um eine Seite aus der Suche zu halten, nutze ein noindex-Meta-Tag oder einen Header — und blockiere sie nicht per Disallow, damit Crawler das noindex sehen können.
 
 
Sollte ich meine Sitemap in robots.txt angeben?
 
Ja. Eine 'Sitemap:'-Zeile mit der absoluten URL hilft jeder Suchmaschine, deine Seiten zu finden, und ist die eine Zeile, die wir standardmäßig hinzufügen. Du kannst mehr als eine Sitemap angeben.
 
 
Ist es kostenlos und privat?
 
Ja — kein Signup, keine Limits, und alles läuft in deinem Browser. Deine Regeln und Pfade werden nie hochgeladen.