Персональні дані: політична цінність

Що таке тест A/B?

Коли у 2008 році під час президентських перегонів команда Барака Обами зіштовхнулася із проблемою перетворення відвідувачів інтернет сторінок кандидата на підписників, звернувшись до прийомів комерційного маркетингу, вони одразу вирішили змінити стиль написання на їх веб-сайті . Було використано три різні написи: «Дізнайся більше», «Приєднуйся зараз», «Підписуйся зараз» замість банального виразу «Підписуйся». Вираз «Дізнайся більше» був ефективнішим на приголомшливі 18,6%.(1) Під час тестування промо-матеріалів, компанія обирала різні варіації відео та фото з 6 варіантів, і сама вдала комбінація підвищила рівень конвертації відвідувачів у підписників на 3%. Крапля в морі, натомість, кількість нових підписів на електронну розсилку збільшилася на 3 мільйони, а кількість додаткових пожертв сягнула 60 мільйонів доларів.(2),(3),(4).Чотири роки потому, коли Обама балотувався на другий термін, його команда провела не менше 500 подібних тестів A/B в інтернет-мережі та електронних повідомленнях за 20 місяців, збільшивши кількість пожертв на 29%, а кількість підписників на 161%.(5),(6).

Під час тесту A/B, який іноді називають паралельним тестуванням, порівняють два, або більше варіантів поширення інформації для визначення найбільш досконалого результату. Часто місцем для таких експериментів є сторінки для збору пожертв, що дає змогу отримати більше коштів. Наприклад, під час президентської кампанії 2016 кандидат у президенти Бен Карсон тестував що саме приносить більше пожертв- його книга, або бейзболка з закликом голосувати за нього. Відбувалось це так: користувачі переадресовувались на сторінку, де пропонувався один з вищезазначених варіантів, і на основі того, що обиралось більше, робився висновок щодо ефективності кожного з варіантів. У разі, якщо бейзболка виявлялась популярнішою, можливо було провести ще один тест. Скажімо, порівняти цю ж бейсболку із еко-сумкою. Ці поступові дії підвищували ефективність веб-сайту.(7)

5_19-us-state-voter-list

В статье, опубликованной на medium.com, исследуется, как в президентской кампании Бена Карсона в 2016 году проверялось, что является более эффективным подарком во время сбора пожертвований на избирательную кампанию: книга или бейсболка. Тест проходил на его веб-сайте BenCarson.com, который не был активным на момент написания.
Источник: Medium, 11 марта 2019 года.

Хоча тест A/B і є типовим для IT-індустрії та політики сьогодення, аналоги він мав ще у 20-х роках 20 століття. Британець Рональд Фішер займаючись статистичними розрахунками, математично сформулював закономірності зростання різних сільськогосподарських культур, паралельно тестуючи різні види ґрунту: з додаванням добрива та без.(8) З тих часів, A/B тестування стало невід’ємною частиною політики, і застосовується для підвищення ефективності інтернет-сторінок, електронних повідомлень (тем повідомлень, структури), дизайну (зображень, фону, активних елементів), заголовків, листів, телебачення, радіо, обдзвон, і навіть, написання «правильного» тексту для пошуку інформації.(9),(10),(11),(12),(13).

Низка сервісів полегшила процес, що дало змогу проводити тестування багатьох змінних одночасно.(14),(15).

Як використовуються ваші дані?

Персональні дані є основою на кожному етапі: від запуску тесту, до оцінки результатів. Спочатку вони використовуються для визначення об’єктів тестування. Якщо метою є мобілізація голосів працюючих матерів на одному виборчому окрузі, або підвищення їх явки мітингах на іншому, -починається робота. Для цього використовуються адреси, отримані або з виборчих реєстрів, або шляхом обміну даними ,чи за допомогою інших джерел. Допоки учасники кампанії мають актуальну інформацію і достатню кількість людей для статистично дійсного тесту, об’єктом тестування може стати будь-що або будь-хто в рамках закону.

Персональні данні застосовуються і для інтерпретації результатів взаємодії. Якщо ви отримуєте електронну розсилку від кампанії, ймовірно, те чи читаєте ви що там написано, або, чи відвідуєте ви запропоновані веб-сторінки знаходиться під пильним оком дослідників, яким вже відомо, наскільки ви зацікавлені. Зібрані таким чином дані можуть дати ще більше інформації: скасувавши підписку на розсилку від кандидата ви, скоріше за все , не проголосуєте за нього на виборах. При регулярній взаємодії з такою розсилкою, в очах політиків ви стаєте потенційним виборцем.

Приклади

Велика Британія: Домінік Каммінгс, голова кампанії «Vote Leave» під час референдуму 2016 року щодо членства ЄС у Великобританії (так званий Брекзіт) розповів, як команда «Vote Leave» як перманентне експериментування та використання персональних данних допомогло їм перемогти. За словами Каммінгса, опитуючи виборців у Великій Британії, аналітики даних мали можливість «фокусуватись на жінках між 35 та 45 років, які живуть в певному географічному регіоні, мають або не мають вищої освіти… Фактично ми провели низку експериментів, та відокремили те, що працювало….» . Виборців на було поділено три категорії: хто точно проголосує за вихід, хто не проголосує та людей, що не визначилися із вибором. Кампанія витратила 98% свого маркетингового на роботу саме із третьою групою та провела тести із 5 різними закликами для визначення найбільш ефективного.(16) Перемогло повідомлення, яке складалося із 3 слів: «Поверни назад свободу». Дослідження визначило, що слово «назад» викликало гнів у виборців, небажання втратити те, що вони колись мали – свободу.(17)

5_19-us-state-voter-list

На цьому скріншоті з архіву Facebook зображені дві політичні реклами спрямовані проти Брекзіту, які використовували те саме зображення, але різний текст. Оголошення зліва відображалось користувачам менше 1000 разів, а праворуч - від 5 до 10 тисяч разів. Але відсутні показники, які показують, яка реклама привертала більше уваги.
_Джерело: Facebook Ad Library, 22 лютого 2019 року._

Сполучені Штати Америки: Певні політичні сили у Сполучених Штатах мають розвинуте A/B тестування на високому рівні, навіть у порівнянні порівнюючи із приватними компаніями.(18) Це було найбільш помітно під час президентської кампанії Трампа у 2016 році. Гері Кобі, голова департаменту цифрової реклами та фандрайзингу кампанії Трампа, назвав її «тест A/B на стероїдах».(19) Повідомляється, що учасники кампанії проводили від 40 до 50 тисяч тестувань кожного дня (20), і це принесло надзвичайно велику користь. Колишній директор з маркетингових технологій Республіканського Національного Конвенту (РСК) Майкл Бабяк стверджував: «Команда з ефективності, оптимізації та тестування РСК … провела понад 300 тестів на сторінці DonaldJTrump.com з липня по листопад 2016 року, отримавши додаткових 30 мільйонів доларів пожертв.(21) Команда виявила, що протрампівські повідомлення постійно «перевершували будь-які повідомлення проти Гіларі або повідомлення з негативним посилом».(22) Вже після виборів у травні 2018 року Кобі написав у Twitter про продовження роботи зі збору інформації. 4000 рекламних оголошень викладені для «тестування та дослідження».(23)

5_19-us-state-voter-list

На снимке экрана буклета тестирования RNC, размещенного на www.scribd.com, изображено, как во время предвыборной кампании Дональда Трампа сравнивалась эффективность этих двух фоновых изображений на странице для пожертвований. Образ Трампа оказался примерно на 80% эффективнее, чем образ Клинтон.
Источник: RNC Testing Booklet, 7 января 2019 года.

Сполучені Штати Америки

Майже із 100-відсотковою вірогідністю ви приймали участь у тестуванні A/B. Як написав президент OKCupid Крістіан Руддер у своєму блозі у 2014 році: «Подумайте: якщо ви використовуєте Інтернет, то ви є учасником багатьох досліджень на будь-якому веб-сайті. Ось як працюють інтернет-сторінки».(24) Інший спеціаліст дав наступний коментар: «кожен продукт, бренд, політик, благодійна організацію, громадський рух намагаються на певному рівні маніпулювати вашими емоціями. Для цього розуміння як краще це робити їм потрібні тести A/B.(25) Тестування A / B зараз є стандартною практикою для будь-яких організацій, які працюють у мережі Інтернет. Хоча ви, можливо, зможете визначити тести, у яких ви берете участь, перевіряючи гіперпосилання або аналізуючи сторонні файли cookies, не існує можливості абсолютно точно дізнатися як вас досліджували.

5_19-us-state-voter-list

Ці оголошення з архіву реклами Facebook заохочують індійців організувати групові зустрічі для перегляду звернення прем'єр-міністра Нарендри Моді до нації. Повідомлення щодо реєстрації на захід однакові, але зображення трохи відрізняються. Усі три оголошення коштували менше 15 доларів і були переглянуті від 10 до 60 тисяч разів.
_Джерело: Facebook Ad Library, 11 березня 2019 року._

Висновки

↘ Тестування A / B дозволяє кампаніям перевірити свої припущення та уникнути відкладання HiPPO (найвищої оплаченої думки особи), іронічного терміну, що описує звичайний процес прийняття рішень. Якщо політичне повідомлення буде протестовано належним чином, воно може вказати на помилкові припущення.

↘ За дослідження одного експерта, логічне завершення тренду на тест A/B може настати у вигляді великої кількості унікальних, орієнтованих на кожного виборця повідомлень, що постійно оновлюються на основі тестування A/B.(26) Таке тестування A/B може бути вибірково націлене і налаштоване на інтереси людей, що у свою чергу може підірвати суспільне розуміння політичних аспектів та відкрити шлях для більш маніпулятивних технік.

↘ Залежно від розвитку автоматизації тесту A/B, алгоритми можуть створювати більшу кількість варіантів та комбінацій тексту, медіа, активних елементів тощо на основі даних, що вказуються учасниками кампанії. Це може призвести до того, що комп’ютери будуть замість людей вирішувати, що читати або бачити потенційним виборцям. Це може стати прецедентом створення персоналізованого політичного контенту, вільного від людського контролю..

5_19-us-state-voter-list

Тестування A / B рухається в напрямку алгоритмічного створення варіантів. Використовуючи дані з метою створення найбільш переконливої реклами для певного користувача, алгоритмічно створені варіанти дозволяють комп'ютерам вирішувати, що бачать користувачі, налаштовуючи різні рекламні оголошення для різних осіб. Цей знімок екрана був отриманий з рекламного «динамічно- креативного» відео у Facebook - популярній платформі для тестування передвиборчих кампаній. В аудіо-записі пояснюється, що рекламодавці надають зображення, відео, текст (наприклад, заклики до дій), бюджет та вказують цільову аудиторію, а тест вже вирішить, які комбінації найкраще підходять для певної аудиторії.
Джерело: Facebook Dynamic Creative, 7 січня 2019 року.

↘ Якщо тест A/B демонструє бажаний та масштабний вплив, які з виборців, що обрали найменш популярний варіант, в результаті будуть менш схильними отримувати агітаційні матеріали від кандидата, добровільно підтримувати його, слідкувати за ним або голосувати за нього?

↘ Виборці зазвичай навіть і не підозрюють, що беруть участь у тестуванні. Більш того, вони самі дають дозвіл на обробку даних, коли погоджуються із політикою конфіденційності, яку, як правило, не читають. Внаслідок недостатньої обізнаності учасники тестування не можуть припинити надавати свої данні. Окрім цього, дуже багато виборців не уявляють про вплив попередніх тестувань, у яких вони ,не здогадуючись, приймали участь.(27),(28)

↘ Політичні кампанії часто проводять тестування без незалежного та етичного нагляду за ним.(29)

↘ Тест A/B може бути використаний як «тестовий полігон» для політиків – простір для випробовування якоїсь ідеї - її приховування, якщо та провалиться, або її просування, якщо вона спрацює.

↘ Тест A/B може допомогти політикам уникнути ситуації, коли вони не мають чіткої позиції у певному питанні, за допомогою порівняння різних повідомлень, що врешті-решт приведе до виграшного варіанту. Один автор зауважив: «Замість того щоб шукати компроміс або приймати ризиковані рішення з точки зору політики, емпіричні дані, отримані від тесту A/B, можуть принести оптимальне рішення: який сенс дискутувати, коли можна просто зробити тестування?»(35)

↘ Тест A/B ризикує «спровокувати перехід від процесу пошуку найбільш діючих політичних рішень» до пошуку найкрасивіших активних елементів, що відволікає від нагальних проблем.(36),(37)

↘ Тест A/B ускладнює моніторинг кампанії. Замість того щоб відслідковувати результати на одному веб-сайті, моніторинговим групам доведеться відслідковувати кілька варіантів одного й того ж сайту.

Автор: Варун Башукарла


  1. Brian Christian, ‘The A/B Test: Inside the Technology That’s Changing the Rules of Business’, Wired, 26 April 2012, https://www.wired.com/2012/04/ ff-abtesting/
  2. Tom New, ‘Formisimo Blog Digital Marketing and CRO in Political Campaigns’, accessed 4 January 2019, https://www.formisimo.com/blog/digital-marketing- and-cro-in-political-campaigns/
  3. ‘How Obama Raised $60 Million by Running a Simple Experiment’, Optimizely Blog, 30 November 2010, https://blog.optimizely.com/2010/11/29/howobama- raised-60-million-by-running-a-simple-experiment/
  4. ‘Which Presidential Candidate Is Winning the Digital Marketing Battle?’, accessed 9 January 2019, http://blog.ispionage.com/presidential-candidates- digital-marketing-strategy.html
  5. New, ‘Formisimo Blog Digital Marketing and CRO in Political Campaigns’.
  6. Optimization at the Obama Campaign: A/b Testing’, 25 June 2018, https://web.archive.org/web/20180625130050/http://www.kylerush.net/ blog/optimization-at-the-obama-campaign-ab-testing/.
  7. Alhan Keser, ‘What Are Jeb Bush & Others A/B Testing?’, Soapbox (blog), 14 February 2016, https://medium.com/soapbox-dc/what-are-jeb-bush-othersa- b-testing-676b231f094f
  8. ‘A Refresher on A/B Testing’, accessed 22 February 2019, https://hbr. org/2017/06/a-refresher-on-ab-testing.
  9. Erik Kofman-Burns, ‘Manually A/B Testing Messaging with Hustle’, Hustle Blog, 23 August 2017, https://blog.hustle.com/manually-a-b-testing-messaging- with-hustle-496f32c71408.
  10. ‘Optimization at the Obama Campaign’.
  11. The Digital Plan, Digital Political Tips: Peer to Peer SMS A/B Testing, accessed 8 January 2019, https://www.youtube.com/watch?v=JDgY9-422nU.
  12. Brexit Sham, Cummings - Why Leave Won the Referendum, accessed 10 January 2019, https://www.youtube.com/watch?v=CDbRxH9Kiy4.
  13. Alhan Keser, ‘What Is Bernie Sanders A/B Testing?’, Soapbox (blog), 7 February 2016, https://medium.com/soapbox-dc/what-s-bernie-a-b-testing- df4437171933.
  14. ‘ActBlue Support’, accessed 8 January 2019, https://support.actblue.com/.15 ‘What Is an Experiment-Informed Program (EIP) and Do I Want One ?’, accessed 8 January 2019, https://www.thecampaignworkshop.com/whatexperiment- informed-program-eip-and-do-i-want-one.
  15. Brexit Sham, Cummings - Why Leave Won the Referendum.
  16. ‘How Vote Leave Used Data Science and A/B Testing to Achieve Brexit’, AB Tasty, 14 June 2017, https://www.abtasty.com/blog/data-science-ab-testingvote- brexit/.
  17. Ron Kohavi and Stefan Thomke, ‘The Surprising Power of Online Experiments’, Harvard Business Review, 1 September 2017, https://hbr. org/2017/09/the-surprising-power-of-online-experiments.
  18. Michael J. Coren, ‘Startups Are Co-Opting Donald Trump’s Digital Playbook to Push Progressive Politics in 2018’, Quartz, accessed 12 December 2018, https://qz.com/1023261/startups-are-co-opting-donald-trumps-digital-playbook- to-push-progressive-politics-in-2018/.
  19. Issie Lapowsky, ‘This Is How Facebook Actually Won Trump the Presidency’, Wired, 15 November 2016, https://www.wired.com/2016/11/facebookwon- trump-election-not-just-fake-news/.
  20. Michael Babyak, ‘Donald J. Trump’s $30M Testing Team’, Michael Babyak (blog), 9 February 2017, https://medium.com/@babyak/donald-j-trumps- 30m-testing-team-e1a9d542039e.
  21. Babyak.
  22. According to Facebook’s new political ad portal, the Trump campaign has bought more than 3,000 ad variants since May 7th of this year. Lots of A/B testing with different text/image/video variants. https:// www.facebook.com/politicalcontentads/?Active_status=all&page_ ids[0]=153080620724&q=trump …pic.Twitter.Com/DJswUVOvhE’, Tweet, @issielapowsky), 24 May 2018, https://twitter.com/issielapowsky/status/ 999753778709622785?lang=en.
  23. Christian Rudder, ‘We Experiment On Human Beings!’, OkTrends (blog), accessed 8 January 2019, https://web.archive.org/web/20140728200455/ http://blog.okcupid.com/index.php/we-experiment-on-human-beings/.
  24. ‘The Morality Of A/B Testing’, TechCrunch (blog), accessed 7 January 2019, http://social.techcrunch.com/2014/06/29/ethics-in-a-data-driven-world/.
  25. ‘The Hyper-Personalised Future of Political Campaigning’, CapX, 12 July 2018, https://capx.co/the-hyper-personalised-future-of-politicalcampaigning/.27 Christian, ‘The A/B Test’.
  26. ‘The Morality Of A/B Testing’.
  27. ‘The Morality Of A/B Testing’.
  28. https://www.facebook.com/business/m/facebook-dynamiccreative- ads\
  29. Alhan Keser, ‘What Are Jeb Bush & Others A/B Testing?’.
  30. ‘Ad Archive’, Facebook, accessed 23 February 2019, https://www.facebook. com/ads/archive/?active_status=all&ad_type=political_and_issue_ads&country= IN&q=modi.
  31. ‘Ad Archive’, accessed 22 February 2019, https://www.facebook.com/ads/ archive/?active_status=all&ad_type=political_and_issue_ads&country=GB& q=brexit%20theresa%20may.
  32. ‘RNC Testing Booklet | Donald Trump Presidential Campaign, 2016 | 2016 Republican National Convention’, Scribd, accessed 7 January 2019, https:// www.scribd.com/document/336800205/RNC-Testing-Booklet.
  33. Jeanette Hofmann, ‘Microtargeting as a New Form of Political Claim-Making’, n.d., 17.
  34. Christian, ‘The A/B Test’.
  35. ‘Facebook Dynamic Creative’, Facebook Business, accessed 11 January 2019, https://www.facebook.com/business/m/facebook-dynamic-creative-ads.