Bloquear buscadores con el archivo robots.txt | Develop Site

Imagen de ernesto

Submitted by ernesto on

Con la creación de un nuevo proyecto me surge la necesidad de mantener bloqueado el acceso de los buscadores.

He decidido realizarlo con la utilización del archivo robots.txt. En mi caso necesito bloquear todo el proyecto

Bloquear todo el sitio

Codigo del archivo robots.txt:

  1.   User-agent : *
  2.   Disallow: /

En el caso de necesitar bloquear un directorio

Bloquear directorio

  1.   User-agent : *
  2.   Disallow: /administracion/

En el caso de necesitar bloquear un archivo o una pagina puedo usar

Bloquear archivo o pagina

  1.   User-agent : *
  2.   Disallow: /descarga.php
Español
Taxonomy upgrade extras: 
webmaster