De un día para otro de repente tu sitio web o páginas específicas dejaron de aparecer indexadas y en las búsquedas de la SERP de GOOGLE y al hacer la revisión desde la Consola de búsqueda aparece el siguiente mensaje “Bloqueado por robots txt”
Primero es necesario realizar la comprobación si el Googlebot puede acceder o no a tu sitio en tiempo real.
Una de las formas de simular el rastreo del bot de GOOGLE es mediante la herramienta prueba de optimización para móviles, donde se puede ver en tiempo real si el robot de GOOGLE puede acceder al sitio web.
Si está bloqueda aparecerá el siguiente mensaje:
Primero deberás realizar las acciones que señalo a continuación porque puede ser que la hayas excluido sin darte cuenta o no precisamente sea por bloqueo del archivos robots.txt, que es más común de lo que crees.
- Revisa tu archivo robots.txt este como es único en todos los sitios solo deberás escribrir en la barra de búsqueda tusitioweb.com/robotst.txt., si utlilizas un CMS como WordPress podrás ver la siguiente pantalla que se configura en todos los sitiow web con la siguiente sintaxis con diferentes directivas como DISALLOW significa la ruta que no deben seguir los rastreadores en este caso está el (*) que significa todos los bots de rastreo y ALLOW significa la ruta que pueden seguir y rastrear. Si aquí está la página o tu está bloquedado tu sitio web pues lo podrás ver en este archivo.
2. Revisa la metaetiqueta robots.txt de tu página en la etiqueta <head> </head> accediendo al código fuente en donde podrás visualizar si está la propiedad noindex, la cual también puede ser causa de bloqueo. Para esto deberás realizar los cambios desde el código fuente o desde el plugin de wordpress donde hiciste la configuración de rastreo indexacción como YOAST SEO o RANK MATH y dejar las páginas en index como puedes ver el código aquí abajo.
Si con todas estas comprobaciones todo está ok , debes pensar cuales fueron los últimos cambios que hiciste que pueden estar bloqueando al bot de GOOGLE en rastrear tu sitio, una de las causas comunes pueden ser:
- Instalación de Plugins de Seguridad con reglas firewall muy estrictas que estén bloqueando al bot de Google.
- Instalación de un CDN como Cloudflare con reglas firewall que bloqueen al bot de Google.
- Bloqueo desde el Servidor, para este caso deberás conversar con tu proveedor de hosting, quienes para protegerse de algunos ataques bloquean al bot de Google no dejando que rastree el sitio web.
En todo caso el mensaje de bloqueo por robots txt no es precisamente porque tengas alguna directiva noindex en la metaetiqueta robots.txt o una directiva DISALLOW en tu archivo robots.txt. Y con esto no significa que el SEARCH CONSOLE esté dando algún error, sino que no puede responsabilizarse por acciones de otras herramientas que te encuentres usando. El mensaje en si te permite comprobar que Googlebot no puede acceder a tu sitio, por lo cual es necesario que hagas las diferentes comprobaciones.
Soy Andrea Domínguez, Consultora SEO y SEM, desarrolladora Jr, Diseñadora UX, Experta de Producto de GOOGLE Search y orgullosa mamá, la optimización en los buscadores me apasiona. Si necesitas ayuda puedes escribirme. Recuerda que "Siempre que puedas creerlo podrás hacerlo". =)