Le web analytique imparfait
Published August 27th, 2007
Imparfait les statistiques web? Oui, absolument. Et le meilleur moyen de s’en convaincre est bien de développer son propre outil de web analytique! Des emails que nous recevons des utilisateurs de iMinR, une question qui revient souvent est bien pourquoi il y a une différence entre iMinR et tel autre outil.
En théorie, ça semble bien simple de calculer des visiteurs et des pages vues. En pratique, c’est autre chose. Et à mon avis, aucun outil n’est parfait et fiable à 100%. Si l’outil donne un portrait précis à 85% alors c’est considéré comme fiable. En fait, il y aura autant de résultats différents que d’outils sur le marché.
Un exemple? Un visiteur arrive sur un site web à 17h55. Il visite 10 pages de 17h55 à 18h10. Sur un outil comme iMinR qui affiche les données à l’heure, comment devrait il afficher cette donnée?
#cas 1
17h00 – 1 visite – 3 pages vues
18h00 – 0 visite – 7 pages vues
Le visiteur est comptabilité dans la 17e heure ainsi que 3 de ses pages vues. À la 18e heure, nous aurons donc 7 pages vues, mais aucun visiteur.
#cas 2
17h00 – 1 visite – 3 pages vues
18h00 – 1 visite – 7 pages vues
Le visiteur est comptabilisé dans la 17e heure ainsi que 3 de ses pages vues. À la 18e heure, nous aurons donc 7 pages vues ainsi qu’une visite. C’est bien sûr le même visiteur, mais calculé comme 2 visites différentes.
#cas 3
17h00 – 1 visite – 10 pages vues
18h00 – 0 visite – 0 pages vues
Il y a visiteur et toutes ses pages vues lui sont associées à la même heure. Ouais, peut-être, mais si on créé un rapport qui affiche le nombre de pages vues, ça ne représente pas la réalité.
#cas 4
17h00 – 1 visite – 3 pages vues
18h00 – 0 visite – 0 pages vues
Comme à la 18e heure il n’y a aucun visiteur comptabilisé, on ne peut donc associer des pages vues, non? Pourtant, ce n’est pas 3 mais 10 pages vues que l’on devrait voir.
Il y a probablement autant de façons différentes de calculer et de présenter les informations qu’il y a d’outils de statistiques web. Et on ne se sort pas des ces problèmes conceptuels. Je n’ai illustré qu’un exemple, il y a en a d’autres.
Que dire des visiteurs uniques? C’est probablement la statistique la plus douteuse de toutes. Comptabilisé par l’IP, par l’IP et un cookie, par un cookie seulement? Que dire des visiteurs qui n’ont pas activé le javascript et les cookies? Comment différencier un visiteur unique qui utilise plusieurs ordinateurs d’un groupe de visiteurs utilisant le même ordinateur?
Utiliser un outil qui analyse les logs du serveur? Ce n’est guère mieux. Il ne suffit qu’une personne insère une de vos images sur son site en utilisant l’URL complète. Chaque fois que cette image sera chargée sur SON site, un visiteur et une page vue seront comptabilisés sur VOTRE site. Même s’il n’a jamais mis les pieds sur votre site. Et que dire des robots et crawlers qui peuvent représenter plus de 50% du trafic web?
Comment s’en sortir et avoir une idée fiable alors?
Premièrement, plus les nombres sont élevés, plus la période est large, moins la marge d’erreur est grande. Un blogue avec 10 visiteurs par jour aura peut-être 15-20% d’erreurs ou de mauvaises représentations. Ce taux baissera à 5% ou moins pour un site qui a 3000 visiteurs quotidiennement.
Deuxièmement, il ne faut pas se fier aux nombres absolus, mais plutôt aux tendances. Que iMinR indique 30 visiteurs alors que Google Analytics en affiche 35 n’a pas d’importance. Ce qui compte, c’est la tendance. Est-ce que le trafic augmente ou bien il diminue? Est-ce que ces nombres nous aident à comprendre ce qui se passe sur notre site web?
Bref, le monde du web analytique est jeune et immature. Il reste encore beaucoup de travail et de solutions à inventer avant d’arriver à une formule presque parfaite et standardisée. Puis comme les sondages qui permettent d’établir les parts de marchés dans la radio et la télé, une marge d’erreur sera probablement toujours présente. Pour les intéressés, voici un document qui propose des définitions pour les principales mesures du web analytique.
S.Hamel - 27 Aug 2007 #
Et justement, une étude disponible depuis ce matin souligne des différences parfois énormes entre les solutions d’analytique Web. Bref, quiconque compare des chiffres absolus risque de comparer des pommes avec des fleurs… Encore une fois, comme tu le soulignes, vaut mieux regarder les tendances.
Voir “2007 Web Analytics Shootout - Final Report“
Steph - 27 Aug 2007 #
Ouais, j’ai vu ça ce matin. Il y a de bons écarts! Je vais prendre le temps de regarder ça en détails…
nix - 27 Aug 2007 #
Intéressant… Et porteur de réflexion.
Si je peux me permettre… Mon expérience de l’analytique (principalement en consultation j’entends) m’a amener au fil du temps à me poser des questions d’ordre beaucoup plus qualitatives que quantitatives. Par exemple… Le nombre de pages vues augmente; est-ce que j’intéresse plus mes visiteurs qui donc fouillent le site en profondeur ou à l’inverse ont ils de la difficulté à trouver ce qu’ils cherchent ?
Évidemment l’analyse qualitative est une autre chose… Et il existe des moyens tel les sondages etc pour collecter les données. Toutefois et c’est le but de mon commentaire, la difficulté de croiser les données qualitatives avec les données quantitatives est énorme et mes recherches d’un outil intelligent et efficace à ce niveau est peu fructueuse.
Steph - 27 Aug 2007 #
Pour bien comprendre, peux-tu me donner un exemple de ce que tu aimerais croiser?
nix - 27 Aug 2007 #
@Steph Supposons qu’une section de mon site sert de support technique. Afin de réduire l’interaction humaine directe avec la clientèle et donc réduire mes frais j’ajoute une entrée proposant une solution à un problème courrant et récurent.
J’ai besoin de mesurer à deux niveau ici afin de savoir si je m’approche de mon objectif de réduction de frais: le nombre de consultations sur cette page mais aussi la variable qualitative “est-ce que cette solution a réglé votre problème”.
Évidemment le nombre de pages vues ici n’est pas garante de succès et la variable qualitative est essentielle. De plus analyser ces deux variable séparément sans les croiser dans le temps par exemple ou entre qq variantes recevant des échantillons de traffic rend extraordinairement complexe l’amélioration de mes résultats.
C’est une exemple parmis d’infinies variantes quand on est occupé à rentabiliser nos activités Web. L’analyse quantitative des données de traffic ne suffisent tout simplement pas.
Julien - 28 Aug 2007 #
Tout à fait, j’utilise régulièrement 3 outils statistiques et j’ai des résultats pas vraiment similaires. Ce que j’arrive à dégager néanmoins ce sont bien des “tendances” et non des faits. C’est toujours pareil avec les stats: il faut croiser et recroiser les différentes données et pour le traitement… ben c’est de l’interprétation. On fait dire ce que l’on veut aux chiffres.
Le webanalytique n’est pas une science exacte, mais c’est un excellent outil d’indication de bonne (ou mauvaise) santé d’un sute web.
Pierre - 28 Aug 2007 #
Bonsoir, personnellement voici comment j’analyse mon trafic. J’utilise au moins deux outils de statistique différents. Sur un outils j’analyse l’évolution du trafic sur une période donnée (la méthode de comptabilisation est la même dans le temps donc si je passe de 30 à 300 page vu sur une période j’ai une augmentation de 10 fois de mon trafic), je répète la même opération avec mon deuxième outils de statistiques. Je ne me fie donc pas aux chiffres brut mais bien à une évolution et je compare l’évolution entre deux outils.
Il est bien claire que je ne prend pas une calculatrice à chaque fois que je fait une analyse de mon trafic mais je fait cela à la louche pour en sortir une tendance est l’exploiter !
Si IMinR permettais d’avoir un meilleur aperçu de ses tendances (tout en continuant à livrée des chiffres brut) cela me permettrais par exemple d’avoir un aperçu beaucoup plus rapide de l’évolution de mon trafic.
Mais il reste le probléme d’avoir un chiffre le plus fiable possible lorsque je veut avoir une estimation du nombre de visiteur unique sur une période donnée, pour cela je croise les informations d’au minimum trois outils de statistique et j’en fait une moyenne pondérée. je peut donc en tirer un chiffre assez proche de la réalité.
En espérant que mon expérience ai put t’aider Stéphane,
Pierre