Robots.txt Generator

Search Engine Optimization

Robots.txt Generator


Padrão - todos os robôs são:  
    
Atraso de rastreamento:
    
Mapa do site: (deixe em branco se você não tiver) 
     
Robôs de pesquisa: Google
  Google Image
  Google Mobile
  MSN Search
  Yahoo
  Yahoo MM
  Yahoo Blogs
  Ask/Teoma
  GigaBlast
  DMOZ Checker
  Nutch
  Alexa/Wayback
  Baidu
  Naver
  MSN PicSearch
   
Diretórios restritos: O caminho é relativo ao root e deve conter uma barra final "/"
 
 
 
 
 
 
   



Agora, crie o arquivo 'robots.txt' no seu diretório raiz. Copie o texto acima e cole no arquivo de texto.


Sobre Robots.txt Generator

The robotstxt file, also known as the robots exclusion protocol or standard, is a text file that tells web robots (most often search engines) which pages on your site to crawl. It also tells web robots which pages not to crawl.