Маркетинг с нуля. Часть 3. Гипотезы, тестирование гипотез, A/B тестирование.

Спонсор данной статьи - я и мое маркетинговое агентство QofORG_Marketing ​

Вступление.​

В прошлой части мы разобрались с маркетинговыми воронками, их пользе и применении. В одном из пунктов о пользе воронок, говорилось о том, что они могут быть очень полезны в тестировании различных изменений в ваших проектах, ведь при помощи них можно в цифрах измерить результат каждого изменения и оценить фактическую эффективность.

В этой статье мы подробно разберем, как правильно и профессионально нужно формулировать, а затем проверять любые изменения в ваших проектах, чтобы это приводило к развитию проекта и повышению прибыли.

Оглавление:
1. Что такое гипотезы.
2. Учимся правильно формулировать гипотезы.
3. Методы проверки гипотез + практика.
4. Вывод.

1. Что такое гипотезы.
​

В научной среде, гипотеза - это предположение о чем-либо. В маркетинге есть более узкое определение гипотезы:​

Пример:
Например, у вас есть тема на лолзе по накрутке SEO на видео. У вас довольно консервативное и блеклое оформление темы. Такое никого не впечатлит, но и никого не отпугнет. Вы добросовестно изучили мою статью про опросники в бизнесе, собрали статистику по вашей ЦА, и выяснили, что большей части вашей аудитории нет 20-и лет, а также вы собрали несколько популярных каналов среди вашей аудитории и посмотрели как там выстраивается общение (ToV - Tone of Voice). Выстраивается оно в дружеском стиле, общение на "ты", с юмором.

На основании этих данных вы выстраиваете гипотезу (делаете предположение):
- Если у меня молодая аудитория и они любят дружеский прямой стиль общения, то я оформлю тему и рекламу в таком же стиле, тогда это должно повысить CTR, привести мне больше целевых клиентов, и поднять доходность.

В данном примере у нас есть гипотеза, есть метрики измерения эффективности внесенных изменений, гипотеза построена верно. Осталось только внести изменения, собрать статистику за месяц, и сравнить с прошлой статистикой за другие месяцы. Если CTR вырастет хотя бы на 1% - значит гипотеза подтвердилась, а мы получили хороший рост дохода (начальный CTR может быть и 2%, тогда рост на 1% даст ~+50% доходности).

​

2. Учимся правильно формулировать гипотезы.
​

При создании гипотезы можно допустить ряд ошибок, поэтому существует набор правил, которым должна соответствовать гипотеза, иначе она просто не будет полезной:
1. Гипотеза выстраивается по структуре: "Если я сделаю А, то произойдет B". Есть действие или набор действий, есть результат. У гипотезы всегда должен быть ожидаемый результат.

2. Должна быть метрика, относительно которой вы оцениваете, подтвердилась ли гипотеза. В нашем примере из первой главы это был CTR, по росту которого мы определили, что гипотеза подтвердилась. CTR мог упасть или остаться прежним - тогда гипотеза бы оказалась неудачной. Очень часто наш мозг не хочет признавать, что усилия были потрачены впустую, пытаясь притянуть хоть какой-то успешный результат "задним числом" - это когнитивное искажение, вызванное особенностями работы нашего мозга. Избегайте его при помощи цифр, они не умеют обманывать.

3. Гипотеза может либо подтвердиться, либо не подтвердиться, третьего не дано. Никогда не формулируйте гипотезу, которую можно двояко истолковать: в ней нет смысла, и задним числом её снова можно подтвердить или опровергнуть - как вам захочется. Задача гипотезы - четкое отражение изменений в мире, она должна быть независимым инструментом.
​

3. Методы проверки гипотез + практика.​

​

A/B тестирование.
​

Основным методом тестирования гипотез является метод A/B тестирования. Его суть заключается в том, что мы разделяем трафик пользователей на две части, и пускаем в две версии нашего проекта, с изменениями/без изменений, сравнивая итоговый результат.

Допустим, у нас есть трафик: 1000 человек в неделю на наш сайт. Мы сделали новый дизайн, гипотеза такова:
Наш новый дизайн должен повысить конверсию в регистрацию минимум на 5%.

Наша задача - разделить наш трафик на 2 части, из которого 500 человек мы пустим на старую версию нашего сайта, и 500 человек пустим на новую версию, и в конце сравним, как на новом дизайне изменилась конверсия в регистрацию относительно старого.

Таким образом можно проводить сразу множество тестирований различных изменений относительно "стандартной версии". Дальше можно либо сразу применить изменения, показавшие наибольший результат, либо провести еще одно тестирование относительно "стандартной версии", как себя проявит совокупность нескольких изменений. Но здесь уже все зависит от вашего терпения и бюджета.
​

Формирование правильной выборки.​

Перед тестированием гипотезы, необходимо определиться с объемом выборки - количеством человек, которым нужно показать новую версию, чтобы тестирование было достоверным, и на него не влияли случайные изменения. Если вы тестируете изменения на 10-и людях и на 10.000, влияние банальной случайности в первом случае будет колоссальным, а во втором случае изменения будут статистически достоверны. Нам нужно сделать выборку не слишком маленькой, чтобы на неё не влияла банальная случайность, но и не слишком большой, чтобы не тратить слишком много времени и средств на её тестирование.

Для этого есть хороший инструмент-калькулятор выборки:
https://mindbox.ru/tools/ab-test-calculator/
*Как всегда должен написать, что это не реклама, иначе некоторые уникумы накидают репортов "за рекламу". Как всегда камней в почках этим добрякам.

Мини-гайд как пользоваться калькулятором:
1. Мощность выставляем на 80%.
2. Достоверность по умолчанию 95%. Можете немного снизить, если бюджет жмет, либо же время, но тогда соответственно снизится достоверность данных.
3. Средний показатель - это среднее значение нашей метрики, по которой мы планируем оценивать эффективность гипотезы. Например, CTR из примера с оформлением темы.
4. Абсолютный прирост - это значение, на которое мы ожидаем прирост в результате гипотезы. Если наш средний CTR 2%, а и мы ожидаем прирост +1%, то абсолютный прирост должен быть выставлен 1%.
​

Пример настроек под оформление темы:​

Также в этом калькуляторе можно удобно посчитать результаты:​

4. Заключение.
​

Теперь вы знаете, как правильно формировать и проверять гипотезы в вашем бизнесе, благодаря чему у вас будет +1 качественный инструмент для устойчивого развития и роста ваших проектов. Главное не забывайте следовать правилам формирования гипотез и серьезно относиться к данным, иначе можно прийти к недостоверным выводам, что по итогу даст не те результаты, которые вы могли бы ожидать.
​

Спасибо за внимание! ​