Robots.txt Generator

Suchmaschinenoptimierung

Robots.txt Generator


Standard - Alle Roboter sind:  
    
Crawl-Verzögerung:
    
Seitenverzeichnis: (leer lassen, wenn Sie nicht haben) 
     
Roboter suchen: Google
  Google Image
  Google Mobile
  MSN Search
  Yahoo
  Yahoo MM
  Yahoo Blogs
  Ask/Teoma
  GigaBlast
  DMOZ Checker
  Nutch
  Alexa/Wayback
  Baidu
  Naver
  MSN PicSearch
   
Eingeschränkte Verzeichnisse: Der Pfad ist relativ zu root und muss einen abschließenden Schrägstrich enthalten "/"
 
 
 
 
 
 
   



Erstellen Sie jetzt die Datei "robots.txt" in Ihrem Stammverzeichnis. Kopieren Sie den obigen Text und fügen Sie ihn in die Textdatei ein.


Über Robots.txt Generator

The robotstxt file, also known as the robots exclusion protocol or standard, is a text file that tells web robots (most often search engines) which pages on your site to crawl. It also tells web robots which pages not to crawl.