Robots.txt Generator

Robots.txt Generator

Predefinito: tutti i robot sono:	Permesso rifiutato
Crawl-Delay:	Predefinito - Nessun ritardo 5 Seconds 10 Seconds 20 Seconds 60 seconds 120 Seconds
Mappa del sito: (lascia vuoto se non hai)
Cerca robot:	Google	Lo stesso di Default Permesso rifiutato
	Google Image	Lo stesso di Default Permesso rifiutato
	Google Mobile	Lo stesso di Default Permesso rifiutato
	MSN Search	Lo stesso di Default Permesso rifiutato
	Yahoo	Lo stesso di Default Permesso rifiutato
	Yahoo MM	Lo stesso di Default Permesso rifiutato
	Yahoo Blogs	Lo stesso di Default Permesso rifiutato
	Ask/Teoma	Lo stesso di Default Permesso rifiutato
	GigaBlast	Lo stesso di Default Permesso rifiutato
	DMOZ Checker	Lo stesso di Default Permesso rifiutato
	Nutch	Lo stesso di Default Permesso rifiutato
	Alexa/Wayback	Lo stesso di Default Permesso rifiutato
	Baidu	Lo stesso di Default Permesso rifiutato
	Naver	Lo stesso di Default Permesso rifiutato
	MSN PicSearch	Lo stesso di Default Permesso rifiutato
Directory ristrette:	Il percorso è relativo a root e deve contenere una barra finale "/"

Ora crea il file "robots.txt" nella tua directory principale. Copia sopra il testo e incollalo nel file di testo.

Di Robots.txt Generator

The robots. txt file, also known as the robots exclusion protocol or standard, is a text file that tells web robots (most often search engines) which pages on your site to crawl. It also tells web robots which pages not to crawl.