Cuando escuchas las palabras «optimización de motores de búsqueda», ¿en qué piensas? 

Nuestras mentes saltan directamente a una lista de factores de clasificación de SEO, como etiquetas adecuadas, palabras clave relevantes, excelentes elementos de diseño y un flujo constante de contenido de alta calidad.

Sin embargo, existe algo llamado crawl budget que a la mayoría se les pierde de vista.

Si bien muchos expertos en SEO pasan por alto el crawl budget, porque no lo entienden muy bien, es importante trabajar para la optimización de este factor hasta el momento injustamente olvidado.

¿Cómo se complemente la optimización del crawl budget con el SEO y qué pueden hacer las páginas web para mejorar su frecuencia de rastreo?

El crawl budget es la cantidad de URLs que Google puede y desea rastrear en un sitio web determinado.

Se define por dos factores: la frecuencia de rastreo y la demanda de rastreo. Para ello existen las arañas o bots, que lo que hacen es visitar y rastrear páginas web con el objetivo recabar información.

Dependiendo del propósito del rastreo, se pueden distinguir los siguientes tipos de arañas:

• Arañas de motores de búsqueda: Las arañas de los motores de búsqueda son administradas por motores de búsqueda como Google, Yahoo o Bing. Estas arañas descargan las páginas web que pueden encontrar y las clasifican en el índice del motor de búsqueda.
• Arañas de servicios web: Muchas web, como e-commerce, empresas de viajes o web de cupones, tienen sus propias arañas, para analizar sus sitios.
• Arañas hacker: si, aunque no lo creas los hackers también crían arañas. Utilizan las arañas para probar webs contra diversas vulnerabilidades.

Puede ser que alguna vez escuches hablar de las arañas buenas o malas. ¿Cómo puedes distinguirlas? Cualquier araña que tenga como objetivo recopilar la información con fines ilegítimos es mala, fuera de eso, todo lo demás está bien.

{{cta(‘6ef606cb-fc14-4872-9eee-e689cacb4216′,’justifycenter’)}}

Qué es el Crawl Budget

Como dijimos anteriormente, el crawl budget es la cantidad de veces que una araña de motor de búsqueda llega a tu sitio web durante un período de tiempo determinado. 

Por ejemplo, si las arañas de Google generalmente visitan tu sitio aproximadamente 1.000 veces al mes, puedes decir que 1K es tu crawl budget mensual para Google. 

¿Por qué es importante el crawl budget?

Por una razón muy lógica, uno de tus mayores intereses en cuestiones de SEO es que Google descubra tantas páginas importantes de tu sitio como sea posible, además de todo el nuevo contenido que produzcas.

Cuanto mayor sea tu crawl budget, más rápido conseguirás estos dos objetivos.

Puedes hacerte una idea del crawl budget de tu web en Google Search Console, por ejemplo. Aunque obtendrás datos de rastreos bastante generales, serán un buen comienzo.

Para determinar tu crawl budget de Google, inicia sesión en tu cuenta de Search Console y dirígete a Rastrear -> Estadísticas de rastreo. 

Aquí, verás el número promedio de páginas de tu sitio rastreadas por día.

Por supuesto, ese número es propenso a cambios y fluctuaciones. Pero te dará una idea sólida de cuántas páginas de tu sitio puedes esperar rastrear en un período de tiempo determinado.

Para conseguir datos más específicos del rastreo de tu web, deberás acceder directamente al registro de tu servidor. 

Si no estás seguro de cómo obtener acceso a los registros del servidor, busca ayuda del administrador de tu sistema o proveedor de hosting.

¿Cómo se asigna el crawl budget?

A medida que avanza el SEO, no sabemos exactamente cómo los motores de búsqueda forman el crawl budget para los sitios. Según Google, el motor de búsqueda tiene en cuenta dos factores para determinar el crawl budget:

• Popularidad: las páginas más populares se rastrean con mayor frecuencia.
• Caducidad: Google no permite que la información sobre las páginas se vuelva obsoleta. Por eso, si el contenido de una página se actualiza con frecuencia, Google rastreará esa página con más frecuencia.

Parece que Google usa el término popularidad para sustituir el obsoleto PageRank.

Aunque el PageRank ya no se actualiza públicamente, todavía es seguro asumir que el crawl budget de un sitio es en gran medida proporcional al número de backlinks y la importancia del sitio a los ojos de Google.

Por lo tanto, es lógico que Google esté buscando asegurar que las páginas más importantes sigan estando primeras en su índice.

¿Qué pasa con los enlaces internos? ¿Puedes aumentar la crawl budget de una página en particular señalando más enlaces internos?

Te diríamos que sí, aumentando tus enlaces internos y actualizando el contenido de tu sitio a menudo, el crawl budget de tu sitio crecerá proporcionalmente. 

Pero cuando tomamos páginas individuales, ahí es donde el juego se pone interesante. 

Como descubrirás en los procedimientos que te contamos a  continuación, es posible que estés desperdiciando gran parte de tu crawl budget sin siquiera darte cuenta. 

Al administrar tu crawl budget de manera inteligente, puedes duplicar el recuento de rastreo para páginas individuales.

Cómo mejorar tu crawl budget

Ahora que hemos descubierto que el crawl budget es importante para la indexación, ¿no es hora de centrarte en las mejores formas de administrar tu crawl budget para maximizar tus esfuerzos de SEO?

Hay bastantes cosas que debes, o no debes, hacer para permitir que las arañas de búsqueda visiten más páginas de tu sitio web y lo hagan con más frecuencia. 

Aquí hay una lista de acciones para maximizar el poder de tu crawl budget:

{{cta(‘6ef606cb-fc14-4872-9eee-e689cacb4216′,’justifycenter’)}}

 

1. Verifica tu web

Asegúrate de que las páginas importantes de tu web sean rastreables, y que el contenido que no proporcionará valor si se encuentra en la búsqueda, esté bloqueado.

Es muy importante que bloquees todo aquello que no quieres que aparezca en las búsquedas, como por ejemplo: páginas que tienen contenido duplicado o páginas que estén actualmente en construcción.

 

2. Evita largas cadenas de re direccionamiento

Si hay un número irrazonable de redireccionamientos 301 y 302 seguidos en tu sitio, las arañas de búsqueda dejarán de seguir los re direccionamientos en algún momento y es posible que la página de destino no se rastree. 

Además, cada URL redirigida es una pérdida de una «unidad» de tu crawl budget. Asegúrate de usar redirecciones no más de dos veces seguidas, y solo cuando sea absolutamente necesario.

 

3. Gestiona los parámetros de URL

Los sistemas de gestión de contenido populares generan muchas URL dinámicas que, de hecho, conducen a una misma página. 

Por defecto, los robots de los motores de búsqueda tratarán estas URL como páginas separadas. Como resultado, puedes estar malgastando tu crawl budget y, potencialmente, generando problemas de duplicación de contenido.

Presta también atención a la canibalización SEO.

Si el motor o el CMS de tu web agrega parámetros a las URL que no influyen en el contenido de las páginas, procura hacérslo saber a Google al añadir estos parámetros en tu cuenta de Google Search Console, en Rastrear -> Parámetros de URL.

 

4. Encuentra y corrige errores HTTP

Cualquier URL que busque Google, incluidos CSS y Java Script, consume una unidad de tu crawl budget. 

Y por supuesto, no querrás desperdiciarlo en páginas 404 o 503, ¿verdad? 

Tómate un momento para comprobar tu sitio en busca de enlaces rotos o errores del servidor y corrígelos lo antes posible.

 

5. Mantén tu mapa del sitio limpio y actualizado

Los mapas de sitio XML son importantes para el rastreo adecuado del sitio web porque informan a los motores de búsqueda sobre la organización de tu contenido y permiten que los robots de búsqueda descubran contenido nuevo más rápido. 

Tu mapa del sitio XML debe actualizarse regularmente y estar libre de errores, como por ejemplo, páginas 4xx, páginas no canónicas, URL que redirigen a otras páginas y páginas que están bloqueadas para la indexación.

En este artículo te contamos más, sobre las URLs canónicas.

 

6. Cuida la estructura de tu sitio y los enlaces internos

Aunque los enlaces internos no tienen una correlación directa con tu crawl budget, la estructura del sitio sigue siendo un factor importante para que los bots de búsqueda puedan descubrir tu contenido. 

Una estructura de sitio web lógica, tiene muchos beneficios, como la experiencia del usuario y la cantidad de tiempo que tus visitantes pasarán en tu web.

En general, es un buen consejo mantener áreas importantes de tu sitio a no más de 3 clics de distancia de cualquier página. 

Incluye las páginas y categorías más importantes en el menú o pie de página de tu sitio. 

Para webs más grandes, como blogs y e-commerce, las secciones con publicaciones de productos relacionados y publicaciones de productos destacados, pueden ser de gran ayuda para publicar tus «landing pages», tanto para usuarios como para robots de motores de búsqueda.

El mapa del sitio debe estar libre de errores y actualizado, y el contenido debe ser nuevo y único. Evita las páginas de error 404, páginas duplicadas y largas cadenas de re direccionamiento.

 

7. Mejora la velocidad de tu web

Para aumentar el crawl budget para su sitio web, debes cuidar la velocidad de su sitio web.

Es importante comprobar que tu página web tarda siempre menos de 3 segundos en que se cargue, si no, corres el riesgo de que los usuarios abandones tu web, incluso antes de llegar a entrar.

Una web de carga lenta, no solo es molesto para los usuarios, si no también para los rastreadores web. La velocidad del sitio web tiene un efecto directo en el crawl budget. Puedes verificar la velocidad de tu sitio web en Pagespeed Insights.

Asegúrate de que tu sitio web esté alojado en un servidor que tenga mucho espacio porque cuando los rastreadores rastrean tu web, aumenta la velocidad de carga en el servidor. 

Es importante, por ejemplo, optimizar las imágenes para SEO.

 

Conclusiones

Cada marca desea dominar las SERPs de Google y gasta mucho dinero y esfuerzos para poner sus páginas en las primeras posiciones.

Debes darte cuenta de que la optimización de motores de búsqueda, SEO, se ha vuelto muy técnica. Si deseas clasificarte en el SERP de Google, debes comprender la dinámica del SEO técnico para vencer a la competencia. Esto significa que debe comenzar a pensar más allá de la colocación de palabras clave y publicar contenido en las web de terceros para generar backlinks.

Por eso es tan importante que comiences a familiarizarte con el crawl budget, porque debes intentar que los robots de Google visiten tu web regularmente, para que todos tus esfuerzos de SEO no se vayan directamente  por el desagüe.

A estas alturas, probablemente hayas notado una tendencia en este artículo: los consejos de mejores prácticas que mejoran tu capacidad de rastreo también tienden a mejorar tu SEO. Puedes utilizar alguna herramienta gratuita de SEO para seguir mejorando el SEO de tu web.

Entonces, si te preguntas si la optimización del crawl budget es importante para tu web, la respuesta es SÍ, y probablemente irá de la mano de tus esfuerzos de SEO.

En este artículo te mostramos cómo mejorar el SEO on-page de web.

Resumiendo, cuando facilitas que Google descubra e indexe tu web, conseguirás un crawl budget mayor, lo que se traduce en actualizaciones más veloces cuando publiques nuevo contenido.

También mejorará la experiencia general del usuario, lo que mejora la visibilidad, lo que finalmente resulta en mejores clasificaciones SERP.

Después de un largo viaje, finalmente hemos llegado al final. Esperamos que en este momento comprendas bien qué es el crawl budget y cómo se relaciona con tu estrategia SEO.

Recuerda que para el SEO, es importante contar con una buena estrategia de link-building.

¿Qué cambios realizarás hoy mismo en tu web para aumentar tu crawl budget?

{{cta(‘6ef606cb-fc14-4872-9eee-e689cacb4216′,’justifycenter’)}}