Gerador de Robots.txt

Sobre Gerador de Robots.txt

Gere instantaneamente um arquivo robots.txt válido para seu site. Controle como os rastreadores de busca acessam suas páginas com nosso gerador gratuito.


Padrão - todos os robôs são:  
    
Atraso de rastreamento:
    
Mapa do site: (deixe em branco se você não tiver) 
     
Robôs de pesquisa: Google
  Google Image
  Google Mobile
  MSN Search
  Yahoo
  Yahoo MM
  Yahoo Blogs
  Ask/Teoma
  GigaBlast
  DMOZ Checker
  Nutch
  Alexa/Wayback
  Baidu
  Naver
  MSN PicSearch
   
Diretórios restritos: O caminho é relativo ao root e deve conter uma barra final "/"
 
 
 
 
 
 
   



Agora, crie o arquivo 'robots.txt' no seu diretório raiz. Copie o texto acima e cole no arquivo de texto.


Frequently asked questions

Is the robots.txt Generator free?

This tool requires an active one-time membership to use - pay once and unlock this tool plus every other gated tool on the site, no subscription, no ads.

Where do I upload the robots.txt file?

It must be placed at the root of your domain (e.g. yoursite.com/robots.txt) - it won't be recognized by search engines if placed in a subfolder.

Can robots.txt stop a page from appearing in Google entirely?

Not reliably on its own - it tells crawlers not to *crawl* a page, but a disallowed page can still be indexed if other sites link to it. Use a noindex meta tag on the page itself if you need it fully excluded from search results.

Buscar ferramentas