🤖 ¿Qué es el archivo robots.txt y cómo configurarlo correctamente?

Si alguna vez has construido tu sitio web, seguramente has oído hablar del archivo robots.txt y te has preguntado para qué sirve.
En esta guía te explicamos qué es, por qué es importante y cómo crear o editar el tuyo desde cPanel.

📘 ¿Qué es un archivo robots.txt?

El robots.txt es un archivo de texto plano (formato ASCII o UTF-8) ubicado en el directorio raíz de tu dominio.
Su función es indicar a los motores de búsqueda qué partes de tu sitio pueden o no rastrear.
Esto ayuda a:

• Evitar que los bots accedan a secciones privadas o sensibles.
• Reducir el consumo innecesario de recursos del servidor.
• Optimizar la indexación y el rendimiento SEO de tu sitio.

Los motores de búsqueda utilizan rastreadores (también llamados bots o spiders) para analizar páginas web e indexarlas.
El archivo robots.txt te permite controlar ese acceso.

🧰 Cómo crear o editar tu archivo robots.txt

Si tu sitio aún no dispone de este archivo, puedes crearlo fácilmente desde tu cuenta de cPanel:

1. Inicia sesión en tu cuenta de cPanel.
2. En el apartado Archivos, haz clic en Administrador de Archivos.
   
3. Navega hasta el directorio raíz del sitio web (normalmente public_html), haz clic en Archivo > escribe robots.txt > clic en Crear nuevo archivo.
   
4. Haz doble clic sobre el archivo para abrirlo y editar su contenido.

📄 Ejemplos prácticos y reglas de sintaxis

El archivo robots.txt está compuesto por una o más reglas.
Cada regla se escribe en una línea e indica qué rastreadores pueden acceder a qué directorios o archivos.

• Bloquear a todos los rastreadores el acceso a los directorios /logs y /ssl:

  User-agent: *
  Disallow: /logs/
  Disallow: /ssl/

• Bloquear completamente el rastreo del sitio:

  User-agent: *
  Disallow: /

• Permitir el acceso completo a todos los rastreadores:

  User-agent: *
  Allow: /

• Bloquear solo a un rastreador específico:

  User-agent: Bot1
  Disallow: /

• Permitir a Googlebot y bloquear a todos los demás:

  User-agent: Googlebot
  Disallow:
  User-agent: *
  Disallow: /

📌 Consejos sobre la sintaxis

• El parámetro User-agent indica el nombre del rastreador (puedes usar * para todos).
• Los comandos Allow y Disallow distinguen mayúsculas y minúsculas.
• Si no hay ninguna regla Disallow, el rastreador puede acceder libremente a todo el sitio.
• Siempre coloca una barra / antes y después del nombre del archivo o carpeta que quieras bloquear.