¿Que son los logs?

Los logs suponen registros de actividad en la web, normalmente almacenados en ficheros de texto, y que sirven para almacenar dicha información de actividad. Cuando se accede a nuestra web, se realizan distintas peticiones al servidor. Estas peticiones almacenan una serie de datos relativos al navegador, la IP, la fecha, la url o el status code, entre otros. Cada petición o hit, se va escribiendo sobre el fichero de texto y tienen la siguiente forma:

66.289.85.57 – – [11/June/2014:09:34:00 +0200] “GET /muebles/sofas/ HTTP/1.0” 200 1382 “-” “Mozilla/5.0 (compatible; Googlebot/2.1; +hcp://www.google.com/bot.html)

Herramientas para analizar Logs

Como siempre, en este sector existen multitud de herramientas para realizar un análisis de estos ficheros. Lo primero que tienes que hacer, es acceder a tu servidor web y descargar estos ficheros de registro. Posteriormente, deberías importar estos datos a la herramientas que vayas a utilizar. Yo personalmente utilizo, Screaming Frog Log Analyzer, pero existen multitud de ellas como:

Utilidad del análisis de Logs

De alguna manera, son las migas de pan que se dejan los visitantes de nuestra web. A priori, quizás aún no veas la utilidad de esto, pues posiblemente pensarás que para eso está la analítica web. Sin embargo, y aunque no difieran mucho en el objetivo que tiene la analítica y el análisis de logs (sacar conclusiones a partir de datos), la utilidad que vemos con el análisis de logs es algo diferente.

El caso es que mientras con la analítica web pretendemos conocer el comportamiento del usuario, en el análisis de logs no es tan importante esto como conocer el comportamiento que tienen los robots de rastreo en nuestra web. Gracias a la información que almacenan estos ficheros, podemos conocer qué tipo de robot ha sido el que nos ha visitado (Yandex, BingBot, Google Bot Regular, etc) Podrás ir intuyendo la utilidad que tiene esto, ¿no?

Con un buen análisis de estos ficheros, podemos conocer lo “atractivos” que somos a ojos de los robots. Un buen punto de partida es conocer cuantas URL’s nos están crawleando al día los robots, ya que representa el crawl budget que estos nos dedican y es un indicativo de lo importante que somos para ellos.

Es interesante, realizar este análisis separando cada uno de los robots, para así entender como se comportan cada uno de ellos en nuestra web de cara a la realización de futuras optimizaciones SEO.

Análisis de logs en SEO

El análisis de los archivos logs en SEO supone un factor importante tanto en la parte técnica como en la parte estratégic.a

 

¿Qué conclusiones podemos sacar?

Vayamos al grano y hablemos del jugo que podemos sacarle a este análisis. Como hemos comentado, podemos realizar dicho análisis estudiando por separado el comportamiento de cada crawler. Google tiene prácticamente la hegemonía del sector de motores de búsqueda aquí en España, por lo que tiene sentido darle prioridad al análisis de sus robots.

  • Como hemos comentado, es útil estudiar el “tiempo” que nos están dedicando los robots. Para ello, podemos comprobar el número de peticiones que han realizado a nuestro servidor o el número de urls rastreadas al día. Es un indicador del “interés” que tienen en nuestra web. Pero ten en cuenta al sacar cualquier tipo de conclusión, que tienes que relativizar estos datos con el tamaño y el histórico de la web. Que el robot analice 100 urls al día puede ser un buen dato para una web pequeñita, pero puede suponer algo extraño si la web es de mayor tamaño.
  • Para una auditoria técnica, un análisis de logs es algo (para mí), imprescindible. En la herramienta de logs de Screaming, podemos cruzar los datos de los logs con las urls resultantes de un rastreo propio que hagamos (con Screaming Frog por ejemplo), con estos datos, podemos sacar bastante información sobre el estado técnico de la arquitectura web. La herramienta, nos devuelve todos los status codesque han recibido los distintos robots, con las que podemos sacar conclusiones de cara a realizar optimizaciones técnicas (Resolver redireccionamientos, errores 4xx, enlaces internos incorrectos, etc). Recuerda que si determinadas urls que devuelven redireccionamientos u otro tipo de códigos de error están recibiendo un número elevado de peticiones por parte de los robots, estamos desaprovechando el crawl budget.
  • Podemos conocer qué urls en concreto están recibiendo más peticiones por parte de los robots, y cuales menos. Como sabrás, que este número de peticiones sea mayor para una url, quiere decir que el robot le está dando una importancia superior al resto. Esto puede ser por múltiples factores SEO: mayor tráfico, más y mejor enlazado, contenido más relevante y actualizado, etc. Lo que tendríamos que hacer es comprobar si entre las urls más crawleadas se encuentran las que más interesantes consideramos desde el punto de vista estratégico.
  • También podemos sacar conclusiones parecidas con los directorios de la web.Podemos comprobar cuales de estos directorios son los que más peticiones reciben por parte de los robots y cuales los que menos. De nuevo, tenemos que pensar desde el punto de vista estratégico si nos interesa que estos directorios reciban más o menos peticiones. Podríamos bloquear mediante robots.txt aquellos directorios que menos atractivos nos parecen y que están recibiendo peticiones, para así redistribuir estos hits hacia otros que pudieran ser más interesantes. También podríamos decidir SEOptimizar determinado directorio, para impulsar así su rastreo y mejorar su posicionamiento si realizamos buenas prácticas.

En definitiva, y como todo en SEO, las oportunidades que nos brinda este análisis de Logs son múltiples. Sin embargo, los datos están ahí para analizarlos, pero sacar buenas conclusiones va a depender de ti y de tu SEOnocimiento:)

Alejandro Romero López

Resumen
Utilidad del análisis de logs en SEO
¿De que va?
Utilidad del análisis de logs en SEO
Breve descripcion
El análisis de logs en SEO puede ser determinante de cara a posibles optimizaciones SEO. Existen multitud de herramientas que podemos utilizar como Screaming Frog Analyzer, las cuales nos brindan multitud de oportunidades que tenemos que saber aprovechar estratégicamente.
Escrito por
Nombre del publiser
Alejandro Romero Lopez
Publisher Logo