Mesurer honnêtement un changement de métadonnées

L'ASO a un problème de mesure que la publicité n'a pas : l'effet met des jours à apparaître et le marché bouge pendant ces jours. Tout montage qui ignore ces deux faits produit des chiffres qui ressemblent à des résultats sans en être.

Trois pièces réparent presque tout, et aucune ne coûte d'argent : une variable par version, un temps de stabilisation avant de lire, et un groupe témoin.

Si vous changez le titre, le sous-titre et les captures dans la même version et que la position monte, vous ne savez pas laquelle l'a fait monter. Pire : si l'une des trois a dégradé le résultat pendant que les deux autres l'amélioraient, le résultat net masque l'erreur et vous la répéterez.

Cela demande plus de versions et c'est plus lent. C'est aussi la seule façon d'accumuler de la connaissance plutôt que des anecdotes.

Une modification publiée met entre quelques heures et plusieurs jours à se voir dans les résultats, et ce délai varie selon les pays. Mesurer le premier jour produit des lectures qui se contredisent ensuite d'elles-mêmes.

La règle pratique : ne lisez rien avant trois jours après la mise à disposition de la version, et comparez une semaine entière à une semaine entière. Comparer des jours isolés, c'est comparer du bruit.

C'est la pièce que presque personne ne monte. Choisissez cinq à dix expressions que vous ne toucherez pas, suivies dans le même pays, et regardez-les les mêmes jours que celles que vous avez touchées.

Si vos expressions modifiées montent de cinq places et celles du témoin de quatre, votre modification a valu une place, pas cinq. Et si le témoin baisse pendant que les vôtres restent stables, votre modification a fonctionné même si le chiffre n'a pas bougé.

Sans témoin, toute hausse s'attribue au dernier changement effectué. C'est le biais le plus cher de l'ASO, parce qu'il donne confiance en des tactiques qui n'ont rien fait.

Un tiret. Pas un zéro. Une popularité illisible et un rang hors des deux cents premiers ne sont pas des mesures de faible valeur : ce sont des absences de mesure, et les écrire comme des zéros fait décider quelqu'un comme s'il avait lu quelque chose.

C'est la règle la plus ennuyeuse de cette liste et celle qui a sauvé le plus de rapports. Un chiffre inventé ne se distingue plus d'un chiffre mesuré une fois qu'il est entré dans un tableur.