Os proprietários de sites, blogs usam o arquivo ( robots.txt) para permite ou impedir que os robôs de motores de busca, como Google, Yahoo e Bing, acessem seu blog ou site. Por exemplo um robô quer visitar um site ou blog. Antes de visitar, ele checa o robots.txt.
Robots.txt é apenas esse código.
User-agent: *
Disallow: /
O “User-agent: *” significa que todos os robôs podem visitar seu site ou blog.
O “Disallow: /” significa que os robôs não podem visitar seu site ou blog.
Há duas considerações importantes na hora de usar robots.txt:
Os robôs podem ignorar seu robots.txt. Especialmente robôs de malware que varrem a web em busca de vulnerabilidades de segurança.
Outra coisa: o arquivo robots.txt é um arquivo público. Qualquer um pode ver suas preferencias.
Como criar um arquivo robots.txt
Simples. Copie e cole esse código na raiz do seu blog de acordo com o que você. Leia acima para saber que código copiar e colar.
User-agent: *
Disallow: /
Onde fica a raiz do seu blog ou site?
Normalmente, no mesmo lugar onde você coloca, tem seu “index.html”. Se você não sabe nada disso solicite ajuda do suporte da sua empresa de hospedagem. Você pode acessar o Google robots.txt aqui.
Gostou da dica? Ajudou você? Comente e Compartilhe!
