Robots.txt para la web de tu empresa: qué bloquear, qué no tocar y cómo revisarlo en Search Console
El robots.txt es un archivo de texto que indica a los buscadores qué partes de tu web pueden rastrear. Sirve para no gastar rastreo en páginas sin valor, como el carrito o los resultados internos, pero no impide que una página aparezca en Google. Para eso existen noindex y la protección con contraseña.
- Va siempre en la raíz del dominio: tudominio.es/robots.txt.
- Bloquear el rastreo no es lo mismo que desindexar: una URL bloqueada puede seguir apareciendo en Google.
- Cualquiera puede leerlo, así que nunca lo uses para esconder información confidencial.
Para qué sirve (y para qué no)
Según Google, un archivo robots.txt indica a los rastreadores de los buscadores a qué URL de tu sitio pueden acceder. Además, se usa sobre todo para no saturar el sitio con peticiones; no es un mecanismo para mantener una página fuera de Google. Este es el error más habitual en pymes: bloquear una página creyendo que así desaparecerá de los resultados. Google advierte que podría encontrar e indexar una URL no permitida si recibe enlaces desde otros sitios. Si esa página ya está en Google, hay que quitar la regla del robots.txt que la bloquea y usar noindex. Si Google no puede rastrear la página, tampoco verá la etiqueta.
¿Lo necesitas de verdad? En la ayuda de Search Console se indica que si tu sitio es pequeño, lo más probable es que no necesites un archivo robots.txt. Y puedes dejarlo vacío, o no tenerlo, si todo el sitio se puede rastrear.
Cómo crearlo o revisarlo paso a paso
1. Localízalo
Escribe tu dominio seguido de /robots.txt. Para www.example.com, el archivo se encuentra en www.example.com/robots.txt. Si usas un gestor de contenidos, puede que te ofrezca una página de ajustes de búsqueda u otro mecanismo para indicar si se rastrea o no una página, en lugar de editar el archivo a mano.
2. Escribe reglas sencillas
Cada grupo de reglas empieza con user-agent, que indica el rastreador al que se aplica la regla y es la primera línea de cada grupo. Google pone este ejemplo para que ningún bot entre en el carrito: user-agent: * disallow: /cart. En una tienda online, lo razonable es limitar el bloqueo al carrito, al proceso de pago o a los filtros que generan miles de URL casi iguales. También puedes añadir una línea Sitemap con la dirección de tu sitemap XML.
3. Comprueba que Google lo lee bien
En Search Console, el informe de robots.txt muestra qué archivos robots.txt ha encontrado Google en los 20 hosts principales de tu sitio, cuándo se rastrearon por última vez y los avisos. Ten en cuenta que el informe solo está disponible para propiedades de dominio, o de prefijo de URL sin ruta.
Límites y errores que conviene evitar
No bloquees los archivos CSS o JavaScript que tu web necesita para mostrarse bien, ni dejes un «Disallow: /» heredado de la fase de desarrollo: es un fallo típico después de publicar un rediseño. Recuerda también que si combinas varias reglas de rastreo e indexación, unas pueden anular a otras. Por último, este archivo lo respetan los buscadores serios, pero no garantiza que todos los bots lo cumplan. Revísalo después de cada migración o cambio de plantilla.
Preguntas frecuentes
¿Bloquear una URL en robots.txt la elimina de Google?
No. Puede seguir apareciendo, aunque sin descripción. Para retirarla, usa noindex, protégela con contraseña o elimínala.
¿Dónde tengo que subir el archivo?
En la raíz del dominio, con el nombre robots.txt exacto y en texto plano.
¿Es obligatorio tener robots.txt?
No. Si toda tu web se puede rastrear, puedes dejarlo vacío o no tenerlo.
¿Puedo ocultar zonas privadas con robots.txt?
No. El archivo es público y deja a la vista las rutas que mencionas. Protege esas zonas con una contraseña.