Crawl budget o presupuesto de rastreo de Google

crawl budgetEl crawl budget o presupuesto de rastreo es la frecuencia con la que los robots de rastreo de Google rastrean tu web. El presupuesto de rastreo varía, pudiendo aumentar o disminuir en función de si el robot de Google considera o no que tu web “merece” ser rastreada con mayor frecuencia. Este concepto es fundamental para todos aquellos que nos dedicamos al posicionamiento SEO.

Para entender mejor qué es el crawl budget o presupuesto de rastreo, debemos entender primero que un crawler es un rastreador que permite a Google encontrar e indexar un sitio web. El crawler más conocido es el robot de Google llamado Googlebot.

Esta herramienta de rastreo e indexación es la que analiza y colecciona el contenido de las páginas web para conseguir construir una base de datos que ayude a responder a las búsqueda de los usuarios en Google.

Toda la información se almacena en una especie de índice para que el usuario encuentre la información adecuada otorgada por los algoritmos de búsqueda en el índice interno de Google. Es así como al realizar una búsqueda, el usuario recibe el listado más cercano a su intención de búsqueda.

¿Por qué es importante para el SEO?

En la medida en que el robot tiene un presupuesto concreto, el contenido de la web debe ser de calidad y limpio para que el crawler no pierda tiempo rastreando páginas con contenido inútil, escaso o que no tenemos ningún interés en indexar y pueda así dedicar más recursos al contenido que sí nos interesa posicionar.

La idea principal es que el crawler pueda rastrear indexar la mayor cantidad de información y enlaces para que páginas de tu web suban en el ranking de posiciones.

¿Cómo mejorar el crawl budget?

En primer lugar, tienes que conseguir que tu web responda rápido y no tenga errores de servidor: si tu sitio web responde rápido  durante un tiempo, el límite aumenta. Si la web va lenta o genera errores de servidor, el límite disminuye y el robot rastrea menos páginas.

En lo que respecta a los contenidos, lo cual es para mí la cuestión clave, la frecuencia de rastreo puede verse afectada si tu web tiene:

  • Contenido duplicado
  • Páginas con errores
  • Páginas pirateadas
  • Contenido spam y de poca calidad

Si malgastas los recursos con páginas como éstas, se dejarán de rastrear páginas que verdaderamente son interesantes, lo que puede provocar que se tarde mucho en descubrir el contenido de calidad de un sitio web.

Es importante que aprendas acerca del uso de las etiqueta nofollow y noindex y del robots.txt, para paliar o eliminar estos errores. A continuación te explico cómo debes utilizarlas.

  • Metaetiquetas como nofollow o noindex

La metaetiqueta nofollow se utiliza en los enlaces. Al utilizarla en los enlaces internos que conectan distintas páginas de nuestra web, indicamos a Google que no debe seguir un enlace, puesto que no nos interesa que rastreer el contenido al cual dirige el enlace. Esta práctica está estrechamente relacionada con el link juice sculpting, termino que se refiere a la gestión del reparto de la fuerza entre las distintas páginas de la web.

Al utilizar la metaetiqueta noindex en una página le estamos indicando al rastreador de Google que no queremos que la página se indexe en el indice de Google, ya que no es importante que los usuarios la encuentre o no satisface ninguna búsqueda de usuario concreta. De esta forma le estamos diciendo al rastreador que no invierta su presupuesto en indexar el contenido de esta página. Utilizar la meta etiqueta noindex cuando el contenido que no deseas que Google rastree se encuentra enlazado desde algún lugar de la web. Si por el contrario los contenidos no son accesibles mediante un enlace en nuestra web, utilizaremos la siguiente opción: bloqueo mediate robots.txt.

  • Bloqueo de URLs robots txt

El bloqueo de URLs es la forma más eficaz de optimizar el uso del presupuesto de rastro de Google. Indicar a Google a través del fichero robots.txt aquellas URLs que no queremos que rastree hará que tu presupuesto de rastreo para el resto de URLs aumente. Algunas URLs que puedes bloquer sin ningún riesgo son páginas como las de contacto o el carrito de la compra en un ecommerce, entre muchas otras. Debemos perder el miedo a bloquear por robots.txt y a empezar a disfrutar de sus beneficios.

Demanda de rastreo

En ocasiones nuestra web no consume el rastreo hasta el límite que Google le ha adjudicado debido  a una falta de demanda de indexación. Es decir, sucede que el robot puede rastrear nuestra web porque le queda límite en el presupuesto pero no quiere porque no ve la necesidad (porque no ve demanda). Una web o unas URLs tienen demanda de indexación cuando son populares o cuando están activas.

Por esta razón, es necesario que mantengas las páginas de tu web actualizadas y que hagas todo lo posible para que reciban tráfico. Es necesario realizar cada cierto tiempo auditoría de contenido para eliminar contenido muertos y para revisar y actualiazar contenidos que hace mucho tiempo que se publicaron. De esta forma mantendrás alta la demanda.

Hasta aquí el contenido de este post. Espero que te haya ayudado a comprender la importancia saber de mejorar el presupuesto de rastreo. Si tienes alguna pregunta, no dudes en dejar un comentario para que pueda ayudarte.

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *