Честно измерить правку метаданных

У ASO есть проблема измерения, которой нет у рекламы: эффект появляется через дни, и рынок движется в эти дни. Любое устройство, игнорирующее эти два факта, выдаёт числа, которые выглядят результатами и ими не являются.

Три детали чинят почти всё, и ни одна не стоит денег: одна переменная на версию, время усадки перед чтением и контрольная группа.

Если вы меняете название, подзаголовок и скриншоты в одной версии и позиция растёт, вы не знаете, что её подняло. Хуже: если одно из трёх ухудшило результат, пока два других улучшали, чистый итог скрывает ошибку, и вы её повторите.

Это стоит лишних версий и медленнее. Это и единственный способ накапливать знание вместо анекдотов.

Опубликованная правка проявляется в выдаче от нескольких часов до нескольких дней, и срок этот меняется по странам. Измерение в первый же день даёт показания, которые потом сами себе противоречат.

Практическое правило: не читайте ничего, пока не пройдёт три дня с момента доступности версии, и сравнивайте целую неделю до с целой неделей после. Сравнивать отдельные дни — значит сравнивать шум.

Это деталь, которую почти никто не собирает. Возьмите от пяти до десяти фраз, которых вы не будете трогать, в той же стране, и смотрите на них в те же дни, что и на изменённые.

Если ваши правленые фразы поднялись на пять мест, а контрольные на четыре, ваша правка стоила одного места, а не пяти. А если контрольные упали, пока ваши остались на месте, ваша правка сработала, хотя число не сдвинулось.

Без контроля каждый подъём приписывается последнему сделанному изменению. Это самое дорогое искажение в ASO, потому что оно даёт уверенность в тактиках, которые ничего не сделали.

Прочерк. Не ноль. Непрочитанная популярность и место вне первых двухсот — это не измерения с низким значением: это отсутствие измерения, и записать их нулями значит заставить кого-то принять решение так, будто он что-то прочитал.

Это самое скучное правило в списке и то, которое спасло больше всего отчётов. Выдуманное число неотличимо от измеренного, как только оно попало в таблицу.