诚实地测量一次元数据改动
没有对照组、没有生效时间、没有一个版本一个变量,最后那张表什么也说不出。下面是能说出东西的那套搭法。
· 阅读约 6 分钟
ASO 有一个广告没有的测量问题:效果要几天才出现,而市场在这几天里也在动。任何忽略这两件事的搭法,产出的都是看起来像结果、实际不是的数字。
三件东西能修好几乎全部问题,而且都不花钱:一个版本一个变量、读之前先等生效,以及一个对照组。
一个版本一个变量
如果你在同一个版本里改了名称、副标题和截图,而排名涨了,你不知道是哪一个让它涨的。更糟的是:如果三个里有一个把结果拖坏了、另外两个把它拉好了,净结果掩盖了这个错误,而你会重复它。
这要多花几个版本,也更慢。它也是把知识积累起来、而不是攒一堆轶事的唯一办法。
生效时间
一次发布的修改要几个小时到几天才在结果里看得见,而这个时长因国家而异。第一天就测,得到的读数之后会自相矛盾。
实用规则:在版本可下载之后满三天再读任何东西,并且拿完整的一周和完整的一周比。比较孤立的几天,就是在比较噪音。
对照组
这是几乎没人搭的那一块。挑五到十个你不会碰的短语,在同一个国家,和你改过的那些在同样的日子里一起看。
如果你改过的短语涨了五名、对照组涨了四名,你的改动值一名,不是五名。而如果对照组在跌、你的原地不动,你的改动奏效了,尽管数字没变。
没有对照组,每一次上涨都会被记到最后一次改动头上。这是 ASO 里最贵的偏差,因为它让人对什么都没做的手法产生信心。
测不到的时候写什么
一条短横。不是零。读不到的热度和前两百名之外的位置,不是低值的测量:它们是测量的缺席,把它们写成零,就是让人以为自己读到了什么然后去做决定。
这是这份清单里最无聊的规则,也是救下最多报告的那一条。一个编出来的数字,一旦进了表格,就和测出来的数字再也分不开了。