A / B-тестирование: эксперименты в рекламной кампании

Что такое тест A / B?

В 2008 году во время выборов президента команда Барака Обамы столкнулась с проблемой убедить подписаться на страницу кандидата в президенты ее посетителей. По советам, изложенным в маркетинговых пособниках они решили изменить стиль написания на их сайте. Было использовано три различные модели надписей в противовес простому выражению «подписывайся»: «Узнай больше», «Присоединяйся сейчас», «Подписывайся сейчас». Выражение «Узнай больше» было гораздо эффективнее стандартной надписи на целых 18,6%. После этого, команда тестировала различные вариации информации (6 различных фото и видео). Окончательная комбинация всех элементов принесла увеличение подписчиков на 3%. Хотя такой результат и может показаться незначительным, количество новых подписей на электронную рассылку увеличилось на 3 миллиона новых электронных адресов и принесло целых 6 миллионов дополнительных пожертвований на ведение кампании. 4 года спустя Обама баллотировался на второй срок, во время которого команда провела не менее 500 подобных тестов A / B в интернет-сети и электронных сообщениях за 20 месяцев. Результатами этого стало повышение количества пожертвований на 29%, а количество подписчиков увеличилось на 161%

Тест A / B также называют параллельным тестированием, то есть, сравненим двух или более вариантов распространения информации для определения наиболее удачного результата. Обычно, полем для таких экспериментов становятся страницы страницами для пожертвований, что позволяет привлечь больше средств. Например, во время президентской кампании 2016 кандидат в президенты Бен Карсон провел исследование. Он проверял, что приносило ему больше пожертвований: продажа его книг или бейсболок с изображением в виде призыва голосовать за него. Случайно предлагая на интернет-странице купить или книгу, или бейсболку можно было определить, какое предложение было более успешным. В случае если бейсболка оказывалась популярнее, кампания могла бы провести еще один тест. Например, сравнить эту же бейсболку с сумкой. В результате такого тестирования значительно улучшается работа сайта.

5_19-us-state-voter-list

В статье, опубликованной на medium.com, исследуется, как в президентской кампании Бена Карсона в 2016 году проверялось, что является более эффективным подарком во время сбора пожертвований на избирательную кампанию: книга или бейсболка. Тест проходил на его веб-сайте BenCarson.com, который не был активным на момент написания.
Источник: Medium, 11 марта 2019 года.

Хотя тест A / B является стандатом для IT - индустрии и политических кампаний, он имел аналог еще в 20-х годах 20 века. Британец Рональд Фишер занимался статистическими расчетами, математически сформулировав закономерности роста различных сельскохозяйственных культур. Для этого он использовал удобрение на одном земельном участке, не применяя его на другом. Тест A / B стал неотъемлемой частью политики , в категориях интернет-страниц, электронных сообщений (тема сообщений, структура), дизайна ( изображения, фон, активные элементы), заголовков, простых писем, телевидения, радио , телефонов и даже написания правильного текста для поиска информации.

Ряд сервисов облегчил проведение теста A / B , что позволило проводить много параллельных изменений в ведении политических кампаний.

Как используются данные?

Участники кампании опираются на персональные данные как во время начала, так и при завершении тестов A / B. Сначала они используют его для определения объектов тестирования. Если команда заинтересована в повышении явки работающих матерей в округах или на митингах, она начинает свою работу используя их адреса, полученные из избирательных списков, обмена данными или с помощью других источников. Пока участники кампании имеют актуальную информацию и достаточное количество людей для статистически действительного теста, объектом тестирования может стать что угодно или кто-либо в рамках закона.

Тест A / B также опирается на персональные данные для мониторинга взаимодействия с ним. Если вы получаете электронную рассылку от политического субъекта, предположительно с помощью ее есть возможность отслеживать, читаете ли вы сообщения и посещаете ли предложенные ими интернет-страницы. Это делается для определения вашей заинтересованности. Другие данные могут дать еще больше информации. Отменив подписку на рассылку от кандидата, вы скорее всего не проголосуете за него на выборах. Однако регулярное чтения вами сообщений, даст возможность рассматривать вас как потенциальный голос.

Примеры

Великобритания: Доминик Каммингс, лидер кампании «Vote for Exit» во время референдума в Великобритании в 2016 году за выход из ЕС (так называемый Брексит ) рассказал, как кампания «Vote for exit» использовала персональные данные и тестирования для своей победы. По словам Каммингса, опрашивая избирателей в Великобритании, специалисты по анализу данных имели возможность работать с определенными группами населения. Например, они могли ориентироваться на женщин в возрасте 35-45, которые проживали в определенных географических местностях и получали / не получали высшее образование. «Мы, по сути, провели целую серию тестирований ... в интернете и отфильтровали то, что работало». Кампания «Vote for Exit» поделила избирателей на три категории: кто точно проголосует за выход, кто не проголосует,и те, кто не определилился с выбором. Кампания вложила 98% своего бюджета с акцентом именно на третью группу и провела тесты с 5 различными призывами для определения наиболее эффективного. Победило сообщение, состоявшее из 3 слов: «Верни назад свободу». Исследование определило, что слово «назад» вызвало гнев у избирателей, нежелание потерять то, что они когда-то имели - свободу.

5_19-us-state-voter-list

На цьому скріншоті з архіву Facebook зображені дві політичні реклами спрямовані проти Брекзіту, які використовували те саме зображення, але різний текст. Оголошення зліва відображалось користувачам менше 1000 разів, а праворуч - від 5 до 10 тисяч разів. Але відсутні показники, які показують, яка реклама привертала більше уваги.
_Джерело: Facebook Ad Library, 22 лютого 2019 року._

США: Определенные политические кампании в Соединенных Штатах используют тест A / B на достаточно высоком уровне, даже в сравнении с частными компаниями. Это было наиболее заметно во время президентской кампании Трампа в 2016 году. Гэри Коби, председатель отделения цифровой рекламы и фандрайзинга для кампании Трампа , назвал ее как «привлечение теста A / B на стероидах». Сообщается, что участники кампании проводили от 40 до 50 тысяч тестирований каждый день, и это принесло очень большую выгоду. Бывший директор по маркетинговым технологиям Республиканского Национального Конвента (РСК) Майкл Бабяк утверждал: «Команда по эффективности, оптимизации и тестирования РСК ... провела более 300 тестов на странице DonaldJTrump.com с июля по ноябрь 2016 года, получив дополнительных 30 миллионов долларов пожертвований. Команда обнаружила, что протрамповское сообщение постоянно «превышали любые претензии против Хиллари или другие негативные посылы». Уже после выборов в мае 2018 Коби написал в Twitter о до сих пор действующей работе кампании. 4000 рекламных объявлений работают для «тестирования и исследования», расширяя деятельность сбора информации уже вне выборов.

5_19-us-state-voter-list

На снимке экрана буклета тестирования RNC, размещенного на www.scribd.com, изображено, как во время предвыборной кампании Дональда Трампа сравнивалась эффективность этих двух фоновых изображений на странице для пожертвований. Образ Трампа оказался примерно на 80% эффективнее, чем образ Клинтон.
Источник: RNC Testing Booklet, 7 января 2019 года.

Как понять, что тест A / B используется на мне?

Почти со 100-процентной вероятностью вы были частью тестирования A / B. Как написал президент OKCupid Кристиан Руддер в своем блоге в 2014 году: «Подумайте: если вы используете Интернет, то вы постоянный объект многих исследований на любом сайте. Вот как работают интернет-страницы». Другой специалист дал следующий комментарий: «каждый продукт, бренд, политик, благотворительная организация, общественное движение стараются на определенном уровне манипулировать вашими эмоциями. Для этого они проводят тесты A / B для понимания, как это сделать. Тестирование A / B сейчас является стандартной практикой практически для любых организаций, имеющих присутствие в сети Интернет. Хотя вы, возможно, сможете определить тесты, в которых вы участвуете, проверяя гиперссылки или анализируя сторонние файлы cookie, однако не существует возможности всесторонне узнать , в какие исследования политической кампании вы были включены.

5_19-us-state-voter-list

Эти объявления из архива рекламы Facebook призывают индусов организовывать групповые встречи для просмотра обращения премьер-министра Нарендры Моди к нации. Сообщение о регистрации на мероприятие одинаковые, но изображения слегка отличаются. Все три объявления стоили меньше 15 долларов и были просмотрены от 10 до 60 000 раз.
_Источник: Facebook Ad Library, 11 марта 2019 года._

Выводы

  • Тестирование A / B позволяет кампаниям проверить свои предположения и избежать отсрочки HiPPO (наивысшей оплаченной мысли лица), иронического термина, описывающего обычный процесс классического принятия решений. Если политический посыл будет протестирован должным образом, оно может указать на ошибочные предположения.
  • Как заметил один эксперт, учитывая его логическое завершение, тренд на тест A / B может привести к большому количеству уникальных, ориентированных на каждого избирателя сообщений постоянно обновляющихся на основе тестирования A / B . Такое тестирование A / B может быть избирательно нацеленное и настроенное на интересы людей, что в свою очередь может подорвать общественное понимание политических аспектов и открыть путь для более манипулятивных техник.
  • создавать большое количество вариантов и комбинаций текста, медиа, активных элементов и т.п. на основе данных, указываемых участниками кампании. Это может означать, что компьютеры будут решать вместо людей, что читать или кого видеть потенциальным избирателям. Это может стать прецедентом создания персонализированного политического контента, свободного от человеческого контроля.

5_19-us-state-voter-list

Тестирование A / B движется в направлении алгоритмического создания вариантов. Используя данные с целью создания наиболее убедительной рекламы для определенного пользователя, алгоритмически созданные варианты позволяют компьютерам решать, что видят пользователи, настраивая различные рекламные объявления для разных лиц. Этот снимок экрана был получен из рекламного «динамически креативного» видео в Facebook - популярной платформе для тестирования избирательных кампаний. В аудио-записи объясняется, что рекламодатели предоставляют изображения, видео, текст (например, призывы к действиям), бюджет и указывают целевую аудиторию, а тест уже решит, какие комбинации лучше всего подходят для определенной аудитории.
Источник: Facebook Dynamic Creative, 77 января 2019 года.
  • Если тест A / B демонстрирует желаемое и масштабное влияние, какие из избирателей, избравших наименее популярный вариант, в результате будут менее склонны получать агитационные материалы от кандидата, добровольно поддерживать его, следить за ним или голосовать за него?
  • Избиратели обычно даже и не подозревают, что участвуют в тестировании. Более того, они сами дают разрешение на обработку данных, когда соглашаются с политикой конфиденциальности, которую пользователи принимают и даже не читают. Вследствие недостаточной осведомленности участники тестирования не могут не делиться своими данными. Кроме этого, очень многие избиратели не представляют о влиянии, которое могли на них иметь предварительные тестирования.
  • Политические кампании часто проводят тестирование без независимого и этического надзора за ним.
  • Тест A / B может быть использован как тестовый полигон для политиков - пространство для тестирования какой-то идеи и сокрытия ее, если и провалится, или ее продвиженя, если она сработает.
  • Тест A / B может помочь политикам избежать ситуации, когда они не осведомлены в определенном вопросе, с помощью сравнения различных сообщений, и в конце концов привести к выигрышному варианту. Один автор заметил: «Вместо того чтобы искать компромисс или принимать рискованные решения с точки зрения политики, эмпирические данные, полученные от теста A / B, могут принести оптимальное решение: какой смысл обсуждать, когда можно просто сделать тестирование?»
  • Тест A / B рискует «спровоцировать переход от процесса поиска наиболее действенных политических решений» к поиску самых красивых активных элементов, что отвлекает от насущных проблем кампании.
  • Тест A / B затрудняет мониторинг кампании. Вместо того чтобы отслеживать результаты на одном сайте, мониторинговым группам придется отслеживать несколько вариантов одного и того же сайта.

  1. Brian Christian, ‘The A/B Test: Inside the Technology That’s Changing the Rules of Business’, Wired, 26 April 2012, https://www.wired.com/2012/04/ff-abtesting/
  2. Tom New, ‘Formisimo Blog Digital Marketing and CRO in Political Campaigns’, accessed 4 January 2019, https://www.formisimo.com/blog/digital-marketing-and-cro-in-political-campaigns/
  3. ‘How Obama Raised $60 Million by Running a Simple Experiment’, Optimizely Blog, 30 November 2010, https://blog.optimizely.com/2010/11/29/howobama-raised-60-million-by-running-a-simple-experiment/
  4. ‘Which Presidential Candidate Is Winning the Digital Marketing Battle?’, accessed 9 January 2019, http://blog.ispionage.com/presidential-candidates-digital-marketing-strategy.html
  5. New, ‘Formisimo Blog Digital Marketing and CRO in Political Campaigns’.
  6. Optimization at the Obama Campaign: A/b Testing’, 25 June 2018, https://web.archive.org/web/20180625130050/http://www.kylerush.net/blog/optimization-at-the-obama-campaign-ab-testing/.
  7. Alhan Keser, ‘What Are Jeb Bush & Others A/B Testing?’, Soapbox (blog), 14 February 2016, https://medium.com/soapbox-dc/what-are-jeb-bush-othersa-b-testing-676b231f094f8.
  8. ‘A Refresher on A/B Testing’, accessed 22 February 2019, https://hbr.org/2017/06/a-refresher-on-ab-testing.
  9. Erik Kofman-Burns, ‘Manually A/B Testing Messaging with Hustle’, Hustle Blog, 23 August 2017, https://blog.hustle.com/manually-a-b-testing-messaging-with-hustle-496f32c71408.
  10. ‘Optimization at the Obama Campaign’.
  11. The Digital Plan, Digital Political Tips: Peer to Peer SMS A/B Testing, accessed 8 January 2019, https://www.youtube.com/watch?v=JDgY9-422nU.
  12. Brexit Sham, Cummings - Why Leave Won the Referendum, accessed 10 January 2019, https://www.youtube.com/watch?v=CDbRxH9Kiy4.
  13. Alhan Keser, ‘What Is Bernie Sanders A/B Testing?’, Soapbox (blog), 7 February 2016, https://medium.com/soapbox-dc/what-s-bernie-a-b-testing-df4437171933.
  14. ‘ActBlue Support’, accessed 8 January 2019, https://support.actblue.com/.
  15. ‘What Is an Experiment-Informed Program (EIP) and Do I Want One ?’, accessed 8 January 2019, https://www.thecampaignworkshop.com/whatexperiment-informed-program-eip-and-do-i-want-one.
  16. Brexit Sham, Cummings - Why Leave Won the Referendum.
  17. ‘How Vote Leave Used Data Science and A/B Testing to Achieve Brexit’, AB Tasty, 14 June 2017, https://www.abtasty.com/blog/data-science-ab-testingvote-brexit/.
  18. Ron Kohavi and Stefan Thomke, ‘The Surprising Power of Online Experiments’, Harvard Business Review, 1 September 2017, https://hbr.org/2017/09/the-surprising-power-of-online-experiments.
  19. Michael J. Coren, ‘Startups Are Co-Opting Donald Trump’s Digital Playbook to Push Progressive Politics in 2018’, Quartz, accessed 12 December 2018, https://qz.com/1023261/startups-are-co-opting-donald-trumps-digital-playbook-to-push-progressive-politics-in-2018/.
  20. Issie Lapowsky, ‘This Is How Facebook Actually Won Trump the Presidency’, Wired, 15 November 2016, https://www.wired.com/2016/11/facebookwon-trump-election-not-just-fake-news/.
  21. Michael Babyak, ‘Donald J. Trump’s $30M Testing Team’, Michael Babyak (blog), 9 February 2017, https://medium.com/@babyak/donald-j-trumps-30m-testing-team-e1a9d542039e.
  22. Babyak.
  23. According to Facebook’s new political ad portal, the Trump campaign has bought more than 3,000 ad variants since May 7th of this year. Lots of A/B testing with different text/image/video variants. https://www.facebook.com/politicalcontentads/?Active_status=all&page_ids\[0]=153080620724&q=trump…pic.Twitter.Com/DJswUVOvhE’, Tweet, @issielapowsky), 24 May 2018, https://twitter.com/issielapowsky/status/999753778709622785?lang=en.
  24. Christian Rudder, ‘We Experiment On Human Beings!’, OkTrends (blog), accessed 8 January 2019, https://web.archive.org/web/20140728200455/http://blog.okcupid.com/index.php/we-experiment-on-human-beings/.
  25. ‘The Morality Of A/B Testing’, TechCrunch (blog), accessed 7 January 2019, http://social.techcrunch.com/2014/06/29/ethics-in-a-data-driven-world/.
  26. ‘The Hyper-Personalised Future of Political Campaigning’, CapX, 12 July 2018, https://capx.co/the-hyper-personalised-future-of-politicalcampaigning/
  27. Christian, ‘The Morality of A/B Test’.
  28. ‘The Morality Of A/B Testing’.
  29. https://www.facebook.com/business/m/facebook-dynamiccreative-ads\
  30. Alhan Keser, ‘What Are Jeb Bush & Others A/B Testing?’.
  31. ‘Ad Archive’, Facebook, accessed 23 February 2019, https://www.facebook.com/ads/archive/?active_status=all&ad_type=political_and_issue_ads&country=IN&q=modi.
  32. ‘Ad Archive’, accessed 22 February 2019, https://www.facebook.com/ads/archive/?active_status=all&ad_type=political_and_issue_ads&country=GB&q=brexit%20theresa%20may.
  33. ‘RNC Testing Booklet | Donald Trump Presidential Campaign, 2016 | 2016 Republican National Convention’, Scribd, accessed 7 January 2019, https://www.scribd.com/document/336800205/RNC-Testing-Booklet.
  34. Jeanette Hofmann, ‘Microtargeting as a New Form of Political Claim-Making’, n.d., 17.
  35. Christian, ‘The A/B Test’.
  36. ‘Facebook Dynamic Creative’, Facebook Business, accessed 11 January 2019, https://www.facebook.com/business/m/facebook-dynamic-creative-ads.