A / B-тестирование: эксперименты в рекламной кампании

• Hausa
• українська
• عربى
• Español
• ខ្មែរ
• Português
• English

Что такое тест A / B?

В 2008 году во время выборов президента команда Барака Обамы столкнулась с проблемой убедить подписаться на страницу кандидата в президенты ее посетителей. По советам, изложенным в маркетинговых пособниках они решили изменить стиль написания на их сайте. Было использовано три различные модели надписей в противовес простому выражению «подписывайся»: «Узнай больше», «Присоединяйся сейчас», «Подписывайся сейчас». Выражение «Узнай больше» было гораздо эффективнее стандартной надписи на целых 18,6%. После этого, команда тестировала различные  вариации информации (6 различных фото и видео). Окончательная комбинация всех элементов принесла увеличение подписчиков на 3%. Хотя такой результат и может показаться незначительным, количество новых подписей на электронную рассылку увеличилось на 3 миллиона новых электронных адресов и принесло целых 6 миллионов дополнительных пожертвований на ведение кампании. 4 года спустя Обама баллотировался на второй срок, во время которого команда провела не менее 500 подобных тестов A / B в интернет-сети и электронных сообщениях за 20 месяцев. Результатами этого стало повышение количества пожертвований на 29%, а количество подписчиков увеличилось на 161%

Тест A / B также называют параллельным тестированием, то есть, сравненим двух или более вариантов распространения информации для определения наиболее удачного результата.  Обычно, полем для таких экспериментов  становятся страницы страницами для пожертвований, что позволяет привлечь больше средств. Например, во время президентской кампании 2016 кандидат в президенты Бен Карсон провел исследование. Он проверял, что приносило ему больше пожертвований: продажа его книг или бейсболок с изображением в виде призыва голосовать за него. Случайно предлагая на интернет-странице купить или книгу, или бейсболку можно было определить, какое предложение было более успешным. В случае если бейсболка оказывалась популярнее, кампания могла бы провести еще один тест. Например, сравнить эту же бейсболку с сумкой. В результате такого тестирования значительно улучшается работа сайта.

Хотя тест A / B является стандатом для  IT - индустрии и политических кампаний, он имел аналог еще в 20-х годах 20 века. Британец Рональд Фишер занимался статистическими расчетами, математически сформулировав закономерности роста различных сельскохозяйственных культур. Для этого он использовал удобрение на одном земельном участке, не применяя его на другом.  Тест A / B стал неотъемлемой частью политики , в категориях интернет-страниц, электронных сообщений (тема сообщений, структура), дизайна ( изображения, фон, активные элементы), заголовков, простых писем, телевидения, радио , телефонов и даже написания правильного текста для поиска информации.

Ряд сервисов облегчил проведение теста A / B , что позволило проводить много параллельных изменений в ведении политических кампаний.

Как используются данные?

Участники кампании опираются на персональные данные как во время начала, так и при завершении тестов A / B. Сначала они используют его для определения объектов тестирования. Если команда заинтересована в повышении явки работающих матерей в округах или на митингах, она начинает свою работу используя их адреса, полученные из избирательных списков, обмена данными или с помощью других источников. Пока участники кампании имеют актуальную информацию и достаточное количество людей для статистически действительного теста, объектом тестирования может стать что угодно или кто-либо в рамках закона.

  Тест A / B также опирается на персональные данные для мониторинга взаимодействия с ним. Если вы получаете электронную рассылку от политического субъекта, предположительно с  помощью ее есть возможность отслеживать, читаете ли вы сообщения и посещаете ли предложенные ими интернет-страницы. Это делается для определения вашей заинтересованности. Другие данные могут дать еще больше информации. Отменив подписку на рассылку от кандидата, вы скорее всего не проголосуете за него на выборах. Однако  регулярное чтения вами сообщений, даст возможность рассматривать вас как потенциальный голос.

Примеры

Великобритания: Доминик Каммингс, лидер кампании «Vote for Exit» во время референдума в Великобритании в 2016 году за выход из ЕС (так называемый Брексит ) рассказал, как кампания «Vote for exit» использовала персональные данные и тестирования для своей победы. По словам Каммингса, опрашивая избирателей в Великобритании, специалисты по анализу данных имели возможность работать с определенными группами населения. Например, они могли ориентироваться на женщин в возрасте 35-45, которые проживали в определенных географических местностях и получали / не получали высшее образование. «Мы, по сути, провели целую серию тестирований ... в интернете и отфильтровали то, что работало». Кампания «Vote for Exit» поделила избирателей на три категории: кто точно проголосует за выход, кто не проголосует,и те, кто не определилился с выбором. Кампания вложила 98% своего бюджета с акцентом именно на третью группу и провела тесты с 5 различными призывами для определения наиболее эффективного. Победило сообщение, состоявшее из 3 слов: «Верни назад свободу». Исследование определило, что слово «назад» вызвало гнев у избирателей, нежелание потерять то, что они когда-то имели - свободу.

США: Определенные политические кампании в Соединенных Штатах используют тест A / B на достаточно высоком уровне, даже в сравнении с частными компаниями. Это было наиболее заметно во время президентской кампании Трампа в 2016 году. Гэри Коби, председатель отделения цифровой рекламы и фандрайзинга для кампании Трампа , назвал ее как «привлечение теста A / B на стероидах». Сообщается, что участники кампании проводили от 40 до 50 тысяч тестирований каждый день, и это принесло очень большую выгоду. Бывший директор по маркетинговым технологиям Республиканского Национального Конвента (РСК) Майкл Бабяк утверждал: «Команда по эффективности, оптимизации и тестирования РСК ... провела более 300 тестов на странице DonaldJTrump.com с июля по ноябрь 2016 года, получив дополнительных 30 миллионов долларов пожертвований. Команда обнаружила, что протрамповское сообщение постоянно «превышали любые претензии против Хиллари или другие негативные посылы». Уже после выборов в мае 2018 Коби написал в Twitter о до сих пор действующей работе кампании. 4000 рекламных объявлений работают для «тестирования и исследования», расширяя деятельность сбора информации уже вне выборов.

Как понять, что тест A / B используется на мне?

Почти со 100-процентной вероятностью вы были частью тестирования A / B.  Как написал президент OKCupid Кристиан Руддер в своем блоге в 2014 году: «Подумайте: если вы используете Интернет, то вы постоянный объект многих исследований на любом сайте. Вот как работают интернет-страницы». Другой специалист дал следующий комментарий: «каждый продукт, бренд, политик, благотворительная организация, общественное движение стараются на определенном уровне манипулировать вашими эмоциями. Для этого они проводят тесты A / B для понимания, как это сделать. Тестирование A / B сейчас является стандартной практикой практически для любых организаций, имеющих присутствие в сети Интернет. Хотя вы, возможно, сможете определить тесты, в которых вы участвуете, проверяя гиперссылки или анализируя сторонние файлы cookie, однако не существует возможности всесторонне узнать , в какие исследования политической кампании вы были включены.

Выводы

• Тестирование A / B позволяет кампаниям проверить свои предположения и избежать отсрочки  HiPPO (наивысшей оплаченной мысли лица), иронического термина, описывающего обычный процесс классического принятия решений.  Если политический посыл будет протестирован должным образом, оно может указать на ошибочные предположения.
• Как заметил один эксперт, учитывая его логическое завершение, тренд на тест A / B может привести к большому количеству уникальных, ориентированных на каждого избирателя сообщений постоянно обновляющихся на основе тестирования A / B . Такое тестирование A / B может быть избирательно нацеленное и настроенное на интересы людей, что в свою очередь может подорвать общественное понимание политических аспектов и открыть путь для более манипулятивных техник.
• создавать большое количество вариантов и комбинаций текста, медиа, активных элементов и т.п. на основе данных, указываемых участниками кампании. Это может означать, что компьютеры будут решать вместо людей, что читать или кого видеть потенциальным избирателям. Это может стать прецедентом создания персонализированного политического контента, свободного от человеческого контроля.

• Если тест A / B демонстрирует желаемое и масштабное влияние, какие из избирателей, избравших наименее популярный вариант, в результате будут менее склонны получать агитационные материалы от кандидата, добровольно поддерживать его, следить за ним или голосовать за него?
• Избиратели обычно даже и не подозревают, что участвуют в тестировании. Более того, они сами дают разрешение на обработку данных, когда соглашаются с политикой конфиденциальности, которую пользователи принимают и даже не читают. Вследствие недостаточной осведомленности участники тестирования не могут не делиться своими данными. Кроме этого, очень многие избиратели не представляют о влиянии, которое могли на них иметь предварительные тестирования.
• Политические кампании часто проводят тестирование без независимого и этического надзора за ним.
• Тест A / B может быть использован как тестовый полигон для политиков - пространство для тестирования какой-то идеи и сокрытия ее, если и провалится, или ее продвиженя, если она сработает.
• Тест A / B может помочь политикам избежать ситуации, когда они не осведомлены в определенном вопросе, с помощью сравнения различных сообщений, и в конце концов привести к выигрышному варианту. Один автор заметил: «Вместо того чтобы искать компромисс или принимать рискованные решения с точки зрения политики, эмпирические данные, полученные от теста A / B, могут принести оптимальное решение: какой смысл обсуждать, когда можно просто сделать тестирование?»
• Тест A / B рискует «спровоцировать переход от процесса поиска наиболее действенных политических решений» к поиску самых красивых активных элементов, что отвлекает от насущных проблем кампании.
• Тест A / B затрудняет мониторинг кампании. Вместо того чтобы отслеживать результаты на одном сайте, мониторинговым группам придется отслеживать несколько вариантов одного и того же сайта.