¿Cómo bloquear bots usando el archivo Robots.txt en cPanel?

Robot.txt El archivo es un archivo de texto simple creado en un directorio raíz de su sitio web que permite que los robots de los motores de búsqueda rastreen su sitio web para indexarlo. El archivo robot .txt también controla cómo y a qué archivos deben acceder los bots, por lo que configurarlo correctamente es algo esencial. Puede usar el archivo robot.txt para evitar que los bots indexen su sitio web en los motores de búsqueda.

En este artículo, le mostraremos cómo bloquear bots editando su archivo robot.txt. Siga los pasos a continuación para comenzar.

1. Inicie sesión en su cuenta de cPanel.
   
   
2. Administrador de archivos abierto.
   
   
   
   
3. Cree un nombre de archivo robot.txt y agregue el siguiente código para bloquear el bot. Este código bloqueará el bot del motor de búsqueda de Baidu.
   
   

   RewriteEngine On
   RewriteCond %{HTTP_USER_AGENT} Baiduspider [NC]
   RewriteRule .* – [F,L]
   

   
   
   
   
   
   
4. Esto es todo. Ahora, Baidu ya no podrá usar bots en su sitio web.