Маркетинговые эксперименты

Маркетинговые
эксперименты
3 основных принципа
ВКРАТЦЕ
Одна из самых сложных задач для маркетолога –
точно определить, как изменение бюджета влияет на
поставленные цели. В этом руководстве мы расскажем,
как повысить эффективность кампаний с помощью
контролируемых маркетинговых экспериментов.
Введение
Потенциальные клиенты принимают решения о покупке в самые разные моменты:
например, пока изучают товары и услуги на рабочих компьютерах в офисе,
на планшетах дома и даже на смартфонах в магазине. Путь к покупке обычно
довольно сложен. Он включает в себя несколько точек взаимодействия по разным
каналам, поэтому вопрос распределения рекламного бюджета между поисковыми
объявлениями, видео и другими типами рекламы стоит довольно остро.
На сегодняшний день проблема оценки эффективности рекламы является одной из
самых актуальных в маркетинге. Как отследить эффект отдельно взятой кампании?
Есть ли у нее дополнительный потенциал? Не нужно ли иначе распределять
рекламный бюджет? Ответы на все эти вопросы крайне важны для маркетологов,
ведь от результативности проведенных мероприятий напрямую зависит размер
бюджета на последующие кампании.
Распределяя бюджет, маркетологи должны экспериментировать: изменять
медиамикс, пробовать разные варианты объявлений и использовать новые
каналы. Контролируемые эксперименты помогают правильно оценить вложения в
интернет-рекламу и получить достоверные данные по эффективности.
Из этого руководства вы узнаете всё о планировании и проведении
контролируемых маркетинговых экспериментов, а также научитесь анализировать
их результаты.После этого можно снова сосредоточиться на взаимодействии с
клиентами.
Маркетинговые эксперименты – очень мощный инструмент. Прежде всего, они
позволяют четко понять, что работает, а что нет. Например, точно зная, что
медийная реклама способствует росту трафика, вы можете спокойно увеличивать
расходы на нее.
thinkwithgoogle.com
2
Или, например, эксперименты могут наглядно показать, что объявления в
мобильном поиске привлекают клиентов в магазины, и тогда стоит развивать это
направление.
При этом важно не спешить с выводами. Если эксперимент поставлен некорректно,
полученные результаты могут быть в корне неправильными. Существенно меняя
распределение бюджета на основании одного-единственного эксперимента, вы
очень рискуете. Например, если по результатам эксперимента общие поисковые
объявления окажутся неожиданно неэффективными и вы снизите расходы на них,
это может плачевно сказаться на числе конверсий, что неудивительно: реклама
такого типа привлекает новых потенциальных клиентов.
При этом правильно поставленный эксперимент полезен всегда, важно только
корректно интерпретировать полученные результаты.
Контролируемые эксперименты лучше всего подходят для оценки эффективности
отдельных маркетинговых каналов, например видео или мобильного поиска.
Допустим, вы запустили первую кампанию на YouTube и хотите понять, как она
влияет на ключевые показатели эффективности, например на узнаваемость и
восприятие бренда, интерес аудитории, число посещений сайта и конверсий. Из
полученной статистики понятно, что видео пользуется популярностью и у него
много просмотров, но только эксперимент ответит на вопрос, способствует ли такая
реклама достижению поставленных целей.
Вообще это идеальная ситуация для контролируемого маркетингового
эксперимента. Во-первых, у вас есть четкий вопрос, на который вы хотите получить
ответ: способствует ли видео росту посещаемости сайта. Во-вторых, поскольку это
первая кампания такого рода, вы не можете просто сравнить ее с предыдущими,
то есть у вас нет никаких ориентиров в отношении эффективности. Правильно
поставленный эксперимент, в ходе которого видеообъявление показывается лишь
части пользователей, даст точный ответ на ваш вопрос.
thinkwithgoogle.com
3
Обычно маркетологам приходится решать куда более сложные задачи.
В таких случаях контролируемые маркетинговые эксперименты также будут как
нельзя кстати. Они помогают:
•
оценивать эффективность отдельных элементов кампании;
•
т естировать новые рискованные стратегии перед запуском дорогостоящей
кампании на мировом рынке;
•
о
ценивать влияние цифровой рекламы на посещаемость магазинов
и офлайн-продажи;
•
выявлять корреляцию и причинно-следственные связи;
•
проверить, правильно ли определены неэффективные каналы;
•
правильно выбрать метод атрибуции вместо стандартной регистрации
конверсии по последнему клику.
Эффект прироста
Оценивать результативность кампаний можно по CTR, просмотрам, конверсиям и
многим другим показателям. Важное отличие экспериментов от остальных методов
анализа заключается в возможности определить прирост, который зачастую
гораздо важнее абсолютных значений. Например, во многих случаях важно знать,
на сколько товаров больше вам удалось продать в результате изменения расходов на
выбранные маркетинговые каналы.
thinkwithgoogle.com
4
Контролируемые эксперименты – надежный способ оценки прироста. В ходе таких
экспериментов сравниваются экспериментальная группа (для которой используются
новые настройки) и контрольная (для нее используются прежние настройки). Такая
структура позволяет оценить эффект отдельно взятого изменения. Конечно, не всегда
такие эксперименты дают однозначные и четкие результаты. Более того, неправильно
поставленные эксперименты могут привести к ложным выводам.
Помните, что результаты эксперимента зависят от множества факторов. Например,
если определенная медийная кампания оказалась неэффективной, дело может быть
не в формате, а в неподходящем тексте и плохо подобранных изображениях. В таких
случаях неразумно навсегда отказываться от рекламы определенного формата без
дополнительных экспериментов.
Итак, мы разобрались с тем, когда уместно проводить контролируемые
маркетинговые эксперименты. Теперь обсудим, как правильно это делать.
1. Четко определите бизнес-цели и ключевые показатели эффективности
Чаще всего эксперименты используют, чтобы проверить целесообразность
планируемых изменений. Однако не менее полезно проводить эксперименты гораздо
раньше – на стадии планировании бюджета. Выбирая маркетинговые инструменты,
важно понимать, сможете ли вы проверить их эффективность.
Чтобы правильно составить эксперимент, необходимо ясно представлять, какие
цели вы преследуете, внося изменения в медиамикс, и каковы ключевые показатели
эффективности. У кампаний, нацеленных на прямой отклик, обычно очень понятные
цели, например определенный объем продаж, но и кампании по продвижению
бренда можно оценивать по количественным показателям восприятия и
узнаваемости бренда, а также интереса аудитории.
thinkwithgoogle.com
5
2. Максимально четко сформулируйте вопрос
Определившись с бизнес-целями, важно четко сформулировать корректный вопрос.
Например, может быть сложно проследить, как меняется объем офлайн-продаж в
результате маркетинговых кампаний, нацеленных на повышение узнаваемости
товаров и другие начальные стадии пути конверсии. Вместо этого стоит выбирать
более реалистичные вопросы, например о связи мобильного поиска с покупками
в магазинах. Если вас интересует влияние цифровой рекламы на офлайн-продажи,
инвестируйте в соответствующие объявления, например в мобильную рекламу
местных магазинов с геотаргетингом.
3. Разработайте
план маркетинговых мероприятий
Составьте четкий медиаплан, нацеленный на достижение поставленных целей.
Он должен быть своеобразным ответом на интересующий вас вопрос. Выберите
наиболее подходящие типы объявлений, которые вы хотите протестировать.
4. Разработайте эксперимент
В хорошем эксперименте есть все необходимое и нет ничего лишнего. Помните,
что результаты зависят от множества факторов, включая общий бюджет, сферу
применения изменений и выбранные ключевые показатели эффективности.
Подробнее о разработке экспериментов читайте в разделе "Планирование
эксперимента: основные принципы".
5. Вносите изменения, тестируйте и ещё раз тестируйте
Зачастую одного эксперимента недостаточно, чтобы оценить эффективность
определенного канала. Никогда не останавливайтесь на первых полученных
результатах. Делайте выводы из прошлых экспериментов, вносите необходимые
изменения и проводите повторное тестирование.
thinkwithgoogle.com
6
ПРИМЕР ИСПОЛЬЗОВАНИЯ:
HomeAway
HomeAway – это интернет-площадка, где владельцы жилья и менеджеры по
недвижимости предлагают квартиры и дома в аренду. Чтобы расширить базу жилья,
в компании решили использовать медийную рекламу. Цель эксперимента состояла
в том, чтобы определить, насколько действенны такие объявления.
Сначала в HomeAway разработали медиаплан по привлечению владельцев
недвижимости посредством рекламы в контекстно-медийной сети Google. Для проверки
эффективности рекламы был поставлен абсолютно корректный эксперимент: люди из
экспериментальной группы видели медийную рекламу, а контрольной группе такие
объявления не показывались.
Выяснилось, что медийная реклама на самом деле намного более эффективна и важна,
чем показывает статистика с атрибуцией конверсий по последнему клику. Цена за
дополнительную конверсию для медийной рекламы оказалась на 51% ниже, чем
предполагалось ранее.
"Благодаря экспериментам мы поняли, что медийная реклама крайне эффективна, хотя
это и не следовало из обычной статистики. Объявления такого типа помогли HomeAway
в развитии бизнеса", – говорит Бриттани Хайслер, специалист HomeAway по вебаналитике.
Статистика по цене дополнительной конверсии помогла HomeAway правильно
распределить бюджет и изменить ставки.
thinkwithgoogle.com
7
Планирование эксперимента: основные принципы
Параметры эксперимента
Создать правильный эксперимент – непростая задача.
Возникает много вопросов: о размере выборки,
длительности эксперимента, необходимых расходах.
Все эти параметры крайне важны, они влияют на качество
эксперимента и дальнейший анализ. Чтобы получить
надежные результаты, учитывайте имеющуюся в вашем
распоряжении статистику, данные по расходам и другие
значимые для компании и маркетингового канала факторы.
Доверительные интервалы и точность данных
Результаты эксперимента основаны на статистике,
и им всегда свойственна некоторая степень
неопределенности. Важно понимать, насколько
надежны полученные результаты, не могут ли они быть
случайными и стоит ли им вообще доверять.
Тут следует вспомнить о таком понятии, как
доверительный интервал. При его использовании
оценивается вероятность того, что измеряемый
результат будет находиться в определенных границах.
В хороших экспериментах доверительная вероятность
составляет 90–95%. Если рентабельность инвестиций в
рекламу, согласно результатам эксперимента, составляет
"3 плюс-минус 1", это означает, что с вероятностью 95%
этот показатель будет находиться в интервале от 2 до 4.
Лучше выбрать доверительную вероятность заранее,
чтобы получить надежные выводы.
thinkwithgoogle.com
8
Контрольная и экспериментальная группы
Вам необходимо выбрать экспериментальную группу,
которой будет показываться тестируемая реклама, и
аналогичную контрольную группу, которая не увидит
этих объявлений. Это неотъемлемая составляющая
контролируемого маркетингового эксперимента.
Вы можете выбрать пользователей для эксперимента
по демографическим показателям, особенностям
покупательского поведения или местоположению.
Экспериментальная и контрольная группы должны
быть похожи между собой, чтобы исходная вероятность
конверсии для них была одинаковой.
Случайная выборка
В контролируемых экспериментах пользователи
должны распределяться между экспериментальной
и контрольной группами случайным образом.
Для этого можно идентифицировать отдельных
посетителей сайта (при экспериментах на основе файлов
cookie) или их местоположение (при географических
экспериментах). Случайная выборка гарантирует,
что экспериментальная группа не будет состоять из
пользователей, которым соответствует более высокая
вероятность оптимистичных результатов.
thinkwithgoogle.com
9
ПРИМЕР ИСПОЛЬЗОВАНИЯ:
DefShop
DefShop – крупнейший в Европе онлайн-магазин одежды и аксессуаров для
любителей уличной и хип-хоп-моды. Компания провела кампанию динамического
ремаркетинга в контекстно-медийной сети Google: тем, кто посещал сайт, затем
показывали подобранные по интересам объявления с индивидуальными ставками.
Чтобы проверить, насколько хорошо работает такая реклама, в DefShop решили
провести эксперимент. "Нам казалось, что ремаркетинг дает ощутимые результаты, –
рассказывает менеджер по маркетингу Мэттиас Спенгенберг, – но хотелось получить
объективное подтверждение. Это придает уверенности".
В ходе контролируемого эксперимента была изучена реакция посетителей, которые
наполняют и не оплачивают корзину покупок, на ремаркетинг. Распределение по
контрольной и экспериментальной группам проводилось в случайном порядке.
Оказалось, что динамический ремаркетинг приносит дополнительные 12% покупок,
23% посещений сайта и 38% запросов, связанных с брендом.
thinkwithgoogle.com
10
Тестировать изменения в распределении бюджета можно с помощью
контролируемых маркетинговых экспериментов разных типов. Выбор зависит
от того, какие показатели вы хотите сравнить и какие группы пользователей вас
интересуют. Ниже описаны самые популярные типы экспериментов.
Панельный метод
Принцип работы
При панельном исследовании заранее отбираются добровольцы, а затем
проводится подробный анализ их поведения после просмотра объявлений.
Всю панель делят на экспериментальную и контрольную группы.
Преимущества
Панельный метод идеален для долгосрочного исследования взаимосвязей между
распределением бюджета и поведением целевой аудитории. Использование
различных каналов и добровольное участие в эксперименте позволяют получать
максимально подробную статистику.
Недостатки
Если вас интересует влияние различных факторов на объем продаж и другие
подобные показатели, панельный метод не очень подходит. Поскольку конверсии
совершает малая доля участников эксперимента, вам понадобится очень большая
группа. Набрать ее нелегко, плюс всегда есть риск получить нерепрезентативную
группу. Кроме того, вам придется немало потратить на вознаграждение для
участников исследования.
thinkwithgoogle.com
11
Выборка пользователей
Принцип работы
В экспериментальную и контрольную группы включаются отдельные пользователи
или идентификаторы файлов cookie. Например, если у компании есть база
зарегистрированных пользователей, их можно разделить на две группы. При
отсутствии такой базы используется разделение по идентификаторам файлов cookie.
Преимущества
Этот метод позволяет точно оценивать влияние рекламы на определенный сегмент
пользователей, например на постоянных клиентов. С зарегистрированными
пользователями также можно проводить кросс-платформенные эксперименты.
Недостатки
Файлы cookie имеют ограниченный срок действия. Кроме того, иногда пользователи
просто удаляют все файлы cookie на компьютере. Кросс-платформенные
эксперименты ненадежны, если поведение пользователей на разных устройствах
значительно отличается. Кроме того, эксперименты, где задействуются разные
каналы, могут нарушать принципы конфиденциальности, особенно если вас,
например, интересует влияние рекламы на покупки в магазинах. Если реклама
показывается через несколько каналов, есть риск, что один и тот же человек будет
дважды учтен в рамках одного эксперимента. Кроме того, возникают проблемы со
случайным распределением по экспериментальной и контрольной группам.
thinkwithgoogle.com
12
Географический метод
Принцип работы
Вы можете выбрать сравнимые географические регионы для контрольной
и экспериментальной групп. Все пользователи из одного региона при этом
будут видеть одну и ту же рекламу. Несомненное преимущество этого метода
состоит в том, что современные технологии позволяют очень точно определять
местоположение интернет-пользователей.
Преимущества
Эта методика подходит для тех компаний, у которых нет базы зарегистрированных
пользователей. Сводные данные по дням и регионам позволяют с легкостью
отслеживать офлайн-показатели, например продажи в магазинах. Кроме того, такая
методика позволяет проводить кросс-платформенные эксперименты (местоположение
обычно никак не связано с типом устройств) и оценивать влияние различных каналов.
Недостатки
Такие эксперименты не подходят для фирм, которые работают только в небольшой
географической области или стране, и кампаний, нацеленных на определенные
регионы. Кроме того, зафиксировать достоверные различия в поведении
пользователей, например в количестве офлайн-покупок, можно только при
достаточно существенных изменениях. При некоторых маркетинговых стратегиях
и определенных задачах такие эксперименты использовать невозможно.
thinkwithgoogle.com
13
Заключение
Рынок цифрового маркетинга постоянно развивается. Постоянно появляются
новые форматы, типы кампаний и тенденции в поведении пользователей.
Контролируемые маркетинговые эксперименты позволяют быстро адаптироваться к
происходящим изменениям.
Такие эксперименты очень полезны – и не только потому, что позволяют оценить
рост важных показателей в результате определенных кампаний. Сама подготовка
к экспериментам заставляет рекламодателей и маркетологов задуматься над
выбранной стратегией и потенциальными изменениями, посмотреть на текущий
медиамикс с другой стороны. Зачастую можно прийти к важным выводам ещё
в процессе разработки эксперимента. А полученные результаты позволяют
оптимизировать рекламу и лучше взаимодействовать с клиентами.
thinkwithgoogle.com
14