Cómo evitar que los motores de búsqueda indexen su sitio

Si tiene un sitio o una página en desarrollo que no desea que los motores de búsqueda indexen, puede notarlo mediante el uso de un archivo robots.txt. Un archivo robots.txt le indicará a los robots que no visiten ninguna página de un sitio.

Bloqueo de todos los robots de todo el sitio

1. Cree un archivo de texto llamado robots.txt
2. Escriba lo siguiente en el archivo:

User-agent: *
Disallow: / 

3. Guarde el archivo de texto y colóquelo en la raíz de los archivos de su sitio en la carpeta httpdocs. Consulte Cómo usar FTP. Este archivo es respetado por los motores de búsqueda legítimos, pero puede ser ignorado por el diseño de código con intenciones maliciosas. Para obtener más información sobre los archivos robots.txt, puede visitar esta URL:http://www.robotstxt.org/robotstxt.html.