Testes A/B: Experimentos em mensagens de campanha

O que é A/B Testing?

Quando a equipe de campanha de Barack Obama, em 2008, estava tendo problemas em converter visitantes online em inscritos, eles decidiram seguir o manual de marketing comercial e mudar o texto do seu site. Eles testaram três mensagens1 frente ao habitual botão de ‘Inscreva-se’ do site: ‘Saiba Mais’, ‘Junte-se a Nós’ e ‘Inscreva-se Agora’. Eles perceberam que ‘Saiba Mais’ superou a mensagem padrão por gritantes 18,6%. Quando eles testaram a mensagem ao lado de seis diferentes opções de foto e vídeo, a combinação vencedora impulsionou suas taxas de inscrição por mais de 3 pontos percentuais.2 Embora esses números possam parecer pequenos, a campanha estimou que esta única mudança contribuiu para atrair quase três milhões de novos endereços de e-mail cadastrados3 e rendeu 60 milhões4 de dólares em novas doações. Quatro anos depois, a campanha de reeleição de Obama lançou mais de5 500 testes A/B por toda a internet e para endereços de e-mail em 20 meses, aumentando6 em 29 % sua conversão em doações e em 161 %  suas conversões em inscrições. Testes A/B, às vezes chamados de “testes de separação”, compara duas ou mais variantes de uma propaganda ou mensagem para determinar qual delas têm o melhor desempenho. Campanhas comumente7 experimentam isso em suas páginas de doações para turbinar as contribuições. A campanha presidencial americana de Ben Carson, em 2016, realizou um experimento para descobrir se dar uma cópia do livro de Carson ou um chapéu de campanha arrecadava mais doações. Ao direcionar aleatoriamente visitantes do site, tanto para a página de doações do livro quanto para a página de doações dos chapéus, a campanha mediria qual oferta era mais bem sucedida. Se o chapéu fizesse mais sucesso, a campanha poderia realizar outro experimento opondo o chapéu contra, digamos, uma sacola; desta forma, eles continuariam otimizando o site.

5_19-us-state-voter-list

Um artigo publicado em medium.com explora como a campanha presidencial de  Ben Carson de 2016 testou se um livro ou um chapéu era um presente mais efetivo para solicitar doações para sua campanha. O teste foi realizado no seu website, BenCarson.com, que já não estava mais no ar no momento da escrita. (A imagem mostra uma chamada idêntica "Proteja os não nascidos: Fique com Ben" tanto para o chapéu quanto para o livro, e uma frase incentivando para doações de até 100 dólares para obter o livro ou o chapéu).


Fonte: Medium, acessado em 14 de agosto de 2020. 11 March 2019.

Embora testes A/B digitais sejam comuns em círculos de campanha e de tecnologia atualmente, o método tem uma longa história8 analógica que remete aos anos de 1920, quando o estatístico britânico Ronald Fisher formalizou sua matemática básica ao testar o crescimento da colheita, aplicando fertilizante em um lote de terra e em outro não. Desde então, testes A/B têm sido integrados à política e se tornado práticas comuns de campanha em sites, e-mails (assunto, corpo), elementos9 de design (imagens, cenários, botões), manchetes10, correio, TV, rádio, telefone e até mensagens SMS11 para "encontrar a mensagem correta".12  Diversos13 serviços têm tornado os testes A/B fáceis14 de serem usados por campanhas políticas, permitindo-as testar múltiplas mudanças simultaneamente.

​​Como seus dados são usados?

Membros de campanhas se baseiam em dados pessoais tanto na configuração quanto na avaliação de testes A/B. Primeiro, eles os usam para selecionar quem se qualifica para determinado experimento. Se a campanha estiver interessada em mobilizar mães trabalhadoras de um distrito que alterna entre Democratas e Republicanos (do inglês, swing district) ou em aumentar o comparecimento em um comício em outro distrito, por exemplo, poderia lançar experimentos usando informações de endereço obtidas de arquivos de eleitores, uma troca de dados ou uma outra fonte. Se uma campanha tiver dados relevantes e número suficiente de indivíduos para um experimento estatisticamente válido, nada está fora dos limites de experimentação, desde que siga as leis locais.

Testes A/B também se baseiam em dados pessoais para acompanhar as respostas aos experimentos. Se você receber um email de uma campanha, por exemplo, é muito provável que a campanha esteja rastreando taxas de abertura e de cliques através do email para determinar se você interage ou não com esse tipo de mensagem. Os dados podem ser explorados ainda mais profundamente: se você se desinscrever da lista de email, talvez seja considerada uma pessoa com menor probabilidade de votar no candidato em questão. Se abrir emails de campanha sem demora e consistentemente, você pode ser considerada uma pessoa que é um voluntário promissor.

Alguns exemplos

No Reino Unido: Dominic Cummings, diretor de campanha da Vote Leave (do inglês, "Vote para Sair") durante o referendo do Reino Unido de 2016 sobre a adesão à UE (também conheido como o referendo do Brexit), descreveu como a campanha Leave usava dados pessoais e experimentação para ajudá-los a ganhar. De acordo com Cummings, através de um levantamento de eleitores no Reino Unido, cientistas de dados da campanha foram capazes de fazer coisas como "mirar mulheres entre 35 e 45 anos que vivem em locais geograficamente específicos, que tenham ou não um diploma... Nós essencialmente realizamos uma grande série de experimentos... no mundo digital e filtramos o que encontramos". A campanha separou os eleitores em três grupos: aqueles que votam firmemente em permanecer, aqueles que votam firmemente em sair e aqueles em cima do muro. A Vote Leave investiu 98%15 do seu orçamento de marketing em esforços digitais focados no terceiro grupo e testou cinco narrativas neles. A mensagem vencedora foi "tome de volta o controle". Uma pesquisa16 sugeriu que incluir o termo "de volta" desencadearia a raiva e desgosto dos eleitores em perder coisas que eles sentiriam que já tiveram - em paticular, controle.

5_19-us-state-voter-list

Essa captura de tela do Facebook’s ad archive (do inglês, arquivo de publicidades do Facebook) mostra duas propagandas políticas contra o Brexit usando a mesma imagem mas com texto diferente. A propaganda na esquerda foi exibida para usuários menos do que 1.000 vezes, enquando a propaganda na direita foi exibida entre 5.000 e 10.000 vezes. Nenhuma métrica sobre qual angariou mais cliques foi disponibilizada. (As imagens mostram a ex-primeira ministra britânica Theresa May acompanhada de dois textos diversos, mas ambos remetem à austeridade relacionado ao plano para o Brexit de Theresa e convocam a pessoa que está lendo a mandar uma mensagem para o seu ou sua parlamentar, pressionando para que vote contrariamente ao plano).


Fonte: Facebook Ad Library, acessado em 09 de Janeiro de 2021.

Nos Estados Unidos: Algumas campanhas políticas nos EUA estão usando testes A/B em uma escala impressioante,17 mesmo se comparado com empresas privadas. Em nenhuma outra situação isso ficou mais claro do que na corrida presidencial de Donald Trump em 2016. Gary Coby, diretor de publicidade digital e arrecadação de fundos para a campanha de Trump, chamou o uso de experimentação deles de "testes A/B com esteróides".18 A campanha supostamente rodou entre 40 mil e 50 mil variantes em um determinado dia,19 e esses experimentos mostraram ser lucrativos. Conforme Michael Babyak, ex-diretor de tecnologia de marketing da Convenção Nacional Republicana alegou,20 "O Time de Performance, Aperfeiçoamento & Experimentos da RNC... executou 300 testes em DonaldJTrump.com entre julho e novembro de 2016, gerando cerca de $30 milhões em receita adicional", O time constatou que mensagens pró-Trump sempre "ganhavam de qualquer uma anti-Hillary ou outras versões negativas". Bem depois das eleições, em maio de 2018, Coby declarou no Twitter21 que a equipe ainda tinha mais de 4000 anúncios ativos para "testar e aprender", estendendo as atividades de acúmulo de inteligência da campanha para além das eleições.

5_19-us-state-voter-list

Uma captura de tela do Livreto de Testagem do RNC (do inglês, RNC Testing Booklet) postado em www.scribd.com mostra como a campanha de Donald Trump testou essas duas imagens de pano de fundo uma contra a outra na sua página de doações. A imagem de Trump teve uma performance cerca de 80% melhor do que a de Clinton.


Fonte: RNC Testing Booklet, acesso em 09 de Janeiro de 2021.

Como eu sei se isto está sendo usado em mim?

Você provavelvemente já foi parte de um teste A/B. Conforme Christian Rudder, presidente da OKCupid, escreveu22 em um blog em 2014: "Advinhem, pessoal: se você usa a internet, está sujeito a centenas de experimentos a qualquer momento, em qualquer site. É assim que websites funcionam". Outro comentarista afirmou,23 "cada produto, marca, político, caridade e movimento social está tentando manipular suas emoções em algum nível, e eles usam testes A/B para descobrir como". Testes A/B agora são práticas regulares dentre virtualmente qualquer entidade com presença online. Embora talvez você seja capaz de identificar experimentos nos quais está participando pela inspeção de hiperlinks ou pela análise de cookies de terceiros, não há como saber de forma ampla em quais experimentos de campanha política você está incluso.

5_19-us-state-voter-list

Essas propagandas do Facebook’s Ad Archive encorajam indianos a organizar um encontro para ouvir o pronunciamento do primeiro ministro Narendra Modi’s à nação. As mensagens de cadastro são idênticas, mas as imagens diferem sutilmente. Todas as três propagandas custam menos que 15 dólares e foram visualizadas entre 10.000 and 60.000 vezes. (As imagens mudam pouco, mas as principais diferenças são nos textos da própria imagem: a primeira convida a espectadora ou espectador a ser porta-voz do ministro, a segunda mostra como a contribuição dessa pessoa espectadora é necessária e a terceira a incentiva a fazer a voz de sua comunidade ser ouvida).


Fonte: Facebook Ad Library, acessado em 09 de Janeiro de 2021.

Considerações

↘ Testes A/B permitem que as campanhas testem seus pressupostos e que evitem ceder a HiPPO (a Opinião da Pessoa Mais Bem Paga​​​, do inglês​​​​ the Highest Paid Person's Opinion), um termo jocoso descrevendo os processos de tomadas de decisão padrão. Se uma mensagem política é devidamente testada, tem potencial para desmentir falsas suposições.

↘​​​​​​​ Como um especialista afirmou,24 "levada à sua conclusão lógica​​​​​​​, esta tendência poderá conduzir a um fluxo de mensagens personalizadas e únicas​​​​​​​, direcionadas a cada eleitor, constantemente atualizadas baseadas em testes A/B". O fato de testes A/B poderem ser seletivamente direcionados e ajustados para terem apelo pessoal arrisca prejudicar o entendimento do público​​​​​​​ sobre problemas políticos e abre portas para mais táticas de manipulação.

↘​​​​​​​ Como os testes A/B se tornaram mais automatizados, algoritmos podem criar muito mais variáveis e combinações de textos, mídias, botões, etc, baseados em dados de campahas. Isto aparentemente significa que máquinas — ao invés de pessoas — decidiriam o que um potencial eleitor lê e vê, o que poderia abrir um precedente para a criação de um conteúdo político personalizado, sem supervisão humana.​​​​​​​ ​​​​​​​​​​​​​​ 5_19-us-state-voter-list

Testes A/B estão avançando no sentido da geração algorítmica de variáveis. Ao usar dados para criar a propaganda mais atraente para uma determinada pessoa, variáveis geradas por algoritmos possibilitam que os computadores decidam o que usuários veem através da customização de diferentes geradores de propaganda para diferentes indivíduos. Essa captura de tela foi tirada do vídeo de produto promocional do ‘dynamic creative’ (do inglês, gerador dinâmico) do Facebook, uma plataforma popular de experimentação para campanhas políticas. O aúdio de narração explica que os anunciantes fornecem imagens, vídeos, textos, chamadas para ações, orçamento e público-alvo, e que o produto vai decidir qual combinação funciona melhor para um determinado público-alvo. (A frase da imagem é uma pergunta sobre como a ferramenta funciona, para instigar quem está lendo).


Fonte: Facebook Dynamic Creative, acessado em 09 de Janeiro de 2021.

↘ Se um teste A/B demonstra um impacto desejável e mensurável, o que dizer dos eleitores expostos à variante "perdedora" que podem, como resultado, estar marginalmente menos inclinados a assinar um boletim de notícias, a se voluntariar, a consumir notícias políticas, ou a votar?

↘ Os eleitores geralmente não estão conscientes25 de sua participação nos experimentos; além disso, permissões são frequentemente solicitadas por políticas de privacidade que os usuários tendem a aceitar sem ler. Como resultado dessa falta de consciência, não há meios26 de os participantes cancelarem sua participação nesses experimentos. Além do mais, muitos eleitores não sabem dos impactos que experimentos passados podem ter tido neles.

↘ Campanhas políticas comumente executam experimentos em pessoas sem fiscalização ética e independente.27

↘ Testes A/B poderiam ser explorados como um laboratório para políticos — um espaço para testar uma ideia, escondê-la se falhar ou promovê-la se funcionar.

↘ Testes A/B podem salvar um político de parecer indeciso diante de um assunto pelo teste de diferentes mensagens e da promoção da variante vencedora. Um escritor afirmou, "ao invés de procurar consenso ou tomar decisões politicamente arriscadas, os dados empíricos obtidos a partir de testes A/B podem fornecer a solução ideal: 'Por que debater quando você pode testar?'"28

↘ Testes A/B trazem o risco29 de "contornar completamente o processo de raciocínio ao buscar aquilo que funciona," desviando30 a atenção das campanhas dos assuntos em si para as cores dos botões.

↘ Testes A/B tornam o monitoramento de campanha mais difícil. Ao invés de apenas manter as abas de um site, os grupos de monitoramento de campanha podem ter que acompanhar múltiplas variantes do mesmo site.

Autoria: Varoon Bashyakarla

Texto traduzido pela equipe da EITCHA a partir de: A/B Testing: Experiments in campaign messaging 

1, 25, 30 Brian Christian, "The A/B Test: Inside the Technology That’s Changing the Rules of Business", Wired, 26 de abril de 2012, https://www.wired.com/2012/04/ ff-abtesting/ 2, 5 Tom New, "Formisimo Blog Digital Marketing and CRO in Political Campaigns", acessado 4 de janeiro de 2019, https://www.zuko.io/formisimo.  3 "How Obama Raised $60 Million by Running a Simple Experiment", Optimizely Blog, 30 de novembro de 2010, https://blog.optimizely.com/2010/11/29/howobama-raised-60-million-by-running-a-simple-experiment/ 4 "Which Presidential Candidate Is Winning the Digital Marketing Battle?", acessado 9 de janeiro de 2019, http://blog.ispionage.com/presidential-candidates-digital-marketing-strategy.html 6, 9 "Optimization at the Obama Campaign: A/b Testing", 25 de junho de 2018, https://web.archive.org/web/20180625130050/http://www.kylerush.net/ blog/optimization-at-the-obama-campaign-ab-testing/. 7 Alhan Keser, "What Are Jeb Bush & Others A/B Testing?", Soapbox (blog), 14 de fevereiro de 2016, https://medium.com/soapbox-dc/what-are-jeb-bush-othersa-b-testing-676b231f094f 8 "A Refresher on A/B Testing", acessado 22 de fevereiro de 2019, https://hbr.org/2017/06/a-refresher-on-ab-testing. 10, 15 Brexit Sham, Cummings - Why Leave Won the Referendum, acessado 10 de janeiro de 2019, https://www.youtube.com/watch?v=CDbRxH9Kiy4. 11 The Digital Plan, Digital Political Tips: Peer to Peer SMS A/B Testing, acessado 8 de janeiro de 2019, https://www.youtube.com/watch?v=JDgY9-422nU. [Vídeo Privado] 12 Erik Kofman-Burns, "Manually A/B Testing Messaging with Hustle", Hustle Blog, 23 de agosto de 2017, https://blog.hustle.com/manually-a-b-testing-messaging-with-hustle-496f32c71408. 13 "A/B Test Tool", acessado dia 26 de dezembro de 2020, https://support.actblue.com/campaigns/working-with-contribution-forms/a-b-test-tool/. 14 Elena Veatch, "Direct Mail Testing is Worth the Time and Resources", 6 de julho de 2020, https://www.thecampaignworkshop.com/blog/pillar/direct-mail/direct-mail-testing. 16  "How Vote Leave Used Data Science and A/B Testing to Achieve Brexit", AB Tasty, 14 de junho de 2017, https://www.abtasty.com/blog/data-science-ab-testingvote-brexit/. 17 Ron Kohavi and Stefan Thomke, "The Surprising Power of Online Experiments", Harvard Business Review, 1 de setembro de 2017, https://hbr.org/2017/09/the-surprising-power-of-online-experiments. 18 Michael J. Coren, "Startups Are Co-Opting Donald Trump’s Digital Playbook to Push Progressive Politics in 2018", Quartz, acessado 12 de dezembro de 2018, https://qz.com/1023261/startups-are-co-opting-donald-trumps-digital-playbook-to-push-progressive-politics-in-2018/. 19 Issie Lapowsky, "Here's How Facebook Actually Won Trump the Presidency", Wired, 15 de novembro de 2016, https://www.wired.com/2016/11/facebookwon-trump-election-not-just-fake-news/. 20 Michael Babyak, "Donald J. Trump’s $30M Testing Team", Michael Babyak (blog), 9 de fevereiro de 2017, https://medium.com/@babyak/donald-j-trumps30m-testing-team-e1a9d542039e. 21 De acordo com o novo portal de publicidade política do Facebook, a campanha de Trump comprou mais de 3000 versões de anúncios desde de 7 de Maio deste ano (2018). Muitos de testes A/B com variações de texto/imagem/vídeo, https:// www.facebook.com/politicalcontentads/?Active_status=all&page_ ids[0]=153080620724&q=trump…pic.Twitter.Com/DJswUVOvhE’, Tweet, @issielapowsky), 24 de maio de 2018, https://twitter.com/issielapowsky/status/999753778709622785?lang=en. 22 Christian Rudder, "We Experiment On Human Beings!", OkTrends (blog), acessado 8 de janeiro de 2019, https://web.archive.org/web/20140728200455/ http://blog.okcupid.com/index.php/we-experiment-on-human-beings/. 23, 26, 27 "The Morality Of A/B Testing", TechCrunch (blog), acessado 7 de janeiro de 2019, http://social.techcrunch.com/2014/06/29/ethics-in-a-data-driven-world/. 24 "The Hyper-Personalised Future of Political Campaigning", CapX, 12 de julho de 2018, https://capx.co/the-hyper-personalised-future-of-politicalcampaigning/. 28 Jeanette Hofmann, "Microtargeting as a New Form of Political Claim-Making", n.d., 17, https://ecpr.eu/Filestore/PaperProposal/abc5af63-dd51-476b-baa1-6e0c5f11afda.pdf. 29 "Facebook Dynamic Creative", Facebook Business, acessado 11 de janeiro de 2019, https://www.facebook.com/business/m/facebook-dynamic-creative-ads.