Robots.txt Generator

Robots.txt Generator

Padrão - todos os robôs são:	Permitido Recusou
Atraso de rastreamento:	Padrão - sem atraso 5 Seconds 10 Seconds 20 Seconds 60 seconds 120 Seconds
Mapa do site: (deixe em branco se você não tiver)
Robôs de pesquisa:	Google	O mesmo que o padrão Permitido Recusou
	Google Image	O mesmo que o padrão Permitido Recusou
	Google Mobile	O mesmo que o padrão Permitido Recusou
	MSN Search	O mesmo que o padrão Permitido Recusou
	Yahoo	O mesmo que o padrão Permitido Recusou
	Yahoo MM	O mesmo que o padrão Permitido Recusou
	Yahoo Blogs	O mesmo que o padrão Permitido Recusou
	Ask/Teoma	O mesmo que o padrão Permitido Recusou
	GigaBlast	O mesmo que o padrão Permitido Recusou
	DMOZ Checker	O mesmo que o padrão Permitido Recusou
	Nutch	O mesmo que o padrão Permitido Recusou
	Alexa/Wayback	O mesmo que o padrão Permitido Recusou
	Baidu	O mesmo que o padrão Permitido Recusou
	Naver	O mesmo que o padrão Permitido Recusou
	MSN PicSearch	O mesmo que o padrão Permitido Recusou
Diretórios restritos:	O caminho é relativo ao root e deve conter uma barra final "/"

Agora, crie o arquivo 'robots.txt' no seu diretório raiz. Copie o texto acima e cole no arquivo de texto.

Sobre Robots.txt Generator

The robots. txt file, also known as the robots exclusion protocol or standard, is a text file that tells web robots (most often search engines) which pages on your site to crawl. It also tells web robots which pages not to crawl.