Teste A/B parece coisa de empresa grande e é justamente onde o orçamento pequeno rende mais, porque substitui palpite por evidência barata. O problema é que quase todo mundo testa a coisa errada e conclui que não funciona. Vou mostrar o que testar, quanto tempo esperar e quando o teste não se aplica.
O teste A/B é uma técnica de teste de performance muito utilizada pelos webdesigners para análise de tráfego de páginas (o próprio Google recomenda testar mudanças antes de aplicá-las em definitivo), e consiste em mensurar os resultados de uma determinada página ou anúncio separando-os em duas versões: a página original e uma página secundária, sendo que esta basicamente possui o mesmo conteúdo apenas com algumas variações. As duas são lançadas de forma simultânea e os resultados de audiência passam a ser dimensionados, acompanhados e apurados para saber qual apresenta o melhor resultado. Esta é uma maneira de entender o comportamento e interesse do seu público-alvo e possibilitar o aumento de conversões no site.
Na elaboração de um teste A/B a página alterada pode ser testada com alterações em diversos pontos, como por exemplo, mudança no título, mudanças de cores, imagens, partes do textos, entre outras alterações.
Os testes A/B são muito utilizados para comparar duas variações de uma mesma landing page e testar os seus resultados. Depois determinar um período de tempo para que as duas possam ser exibidas e mensuradas. E por fim comparar os resultados para saber qual a que apresentou a melhor performance em audiência.
Existem ferramentas capazes de avaliar estes resultados, sendo o Google Analytcs uma delas.
O Google dispõe do Analytics Content Experiments para ajudar os webdesginers a realizar o teste A/B facilmente.
Além de comparar páginas, o teste A/B também é muito utilizado em campanhas de e-mail marketing. Nesse caso, pode-se enviar e-mails teste nas diferentes versões e acompanhar o retorno e escolher a que apresentar o melhor resultado.
O teste A/B é está cada vez mais sendo cada vez mais utilizado por profissionais de marketing digital, uma vez que, por meio dele, é possível aumentar uma taxa de retorno, aumentar a audiência e conversão de campanhas para os mais diversos segmentos e objetivos de divulgação.
Índice
O que é, em linguagem de quem executa
Testar duas versões significa mostrar a versão A para metade das pessoas e a versão B para a outra metade, no mesmo período, e comparar qual gerou mais do que você quer: contato, orçamento, venda.
O detalhe que muda tudo é o mesmo período. Comparar o desempenho de janeiro com o de fevereiro não é teste, é observação: mudou a versão, mas mudou também a sazonalidade, o feriado e o que o concorrente estava fazendo.
Na Modernizza, costumamos ver essa confusão com frequência, e ela produz conclusão errada com aparência de dado.
O que vale testar, e o que não vale
| O que testar | Efeito típico |
|---|---|
| Texto da primeira tela | Alto |
| Quantidade de campos do formulário | Alto |
| Forma de apresentar o preço | Alto |
| Texto do botão | Médio |
| Assunto de e-mail | Médio |
| Cor do botão | Baixo |
A última linha virou piada justamente porque é fácil de fazer e quase não muda nada. As três primeiras dão trabalho e mudam resultado.
Uma coisa por vez
O erro mais comum é mudar três coisas na mesma versão. Quando o resultado melhora, ninguém sabe qual das três funcionou, e a empresa mantém as três, inclusive a que atrapalhava.
Vale a disciplina de uma alteração por teste. É mais lento e é a única forma de aprender alguma coisa que sirva para o próximo.
Quanto tempo deixar rodando
Encerrar cedo é o segundo erro mais comum. Nos primeiros dias a diferença entre as versões oscila muito, e quem olha na terça-feira e decide na quarta está lendo ruído.
A regra prática é deixar rodar pelo menos duas semanas inteiras, para cobrir o comportamento de dias úteis e de fim de semana, e esperar acumular um número de conversões que não caiba no acaso. Diferença de dois contatos contra três não decide nada.
E vale repetir o teste vencedor alguns meses depois, se a decisão for importante. Comportamento de público muda, e o que venceu no ano passado pode ter deixado de vencer sem ninguém perceber.
Quando o teste não se aplica
Se o seu site recebe algumas dezenas de visitas por mês, teste comparativo não vai produzir conclusão confiável, e insistir nele é perder tempo.
Nesse caso o caminho é outro: conversar. Cinco telefonemas para quem pediu orçamento e não fechou ensinam mais do que qualquer amostra pequena, e o que aparece nessas conversas vira a hipótese a testar quando houver volume.
Já vi empresa passar meses tentando medir o imensurável quando cinco conversas resolveriam.
Como montar um teste sem ferramenta paga
Existem ferramentas boas para isso, e no começo elas não são necessárias. Duas alternativas resolvem.
A primeira é usar o próprio gerenciador de anúncios, que já divide o público entre versões diferentes de anúncio e de página de destino. Se você já anuncia, o teste sai de graça dentro do que já paga.
A segunda é testar em sequência, com o cuidado de comparar períodos equivalentes e longos: um mês inteiro com a versão A e o mês seguinte com a versão B, evitando meses de comportamento atípico como dezembro e janeiro. É menos preciso e serve para decidir.
O que não funciona é trocar a página no meio da semana e olhar o número no dia seguinte.
O que registrar de cada teste
Quatro linhas bastam, e sem elas o aprendizado se perde: o que estava acontecendo antes, o que foi mudado, por quanto tempo rodou e o que aconteceu depois.
O maior ganho desse registro não é o teste em si, é evitar repetir. Sem ele, seis meses depois alguém propõe de novo a mudança que já foi testada e não funcionou, e a discussão recomeça do zero.
Vale guardar principalmente os testes que deram errado, com a razão. Eles delimitam o que não adianta tentar, e isso costuma valer mais do que a lista dos acertos.
Um exemplo que cabe em qualquer empresa
O caso mais comum é a página de contato com sete campos obrigatórios. A hipótese é que o formulário afasta gente. O teste é reduzir para três campos e comparar.
Se o número de mensagens sobe, incorpora. Se sobe e a qualidade cai, o aprendizado também serve: o formulário estava filtrando, e esse filtro precisa voltar de outra forma, na conversa em vez do formulário.
Repare que nada disso exigiu ferramenta, equipe ou orçamento. Exigiu mudar uma coisa por vez e esperar o tempo certo antes de olhar o número.
Testar em anúncio é diferente de testar no site
Vale separar as duas coisas, porque elas respondem perguntas diferentes e são confundidas o tempo todo.
Testar anúncio responde se a sua mensagem chama atenção de quem ainda não conhece a empresa. É rápido, barato e dá resultado em dias, porque o volume de exibições é alto.
Testar página responde se a sua mensagem convence quem já demonstrou interesse. É mais lento, porque menos gente chega até ali, e é onde está o ganho maior, já que uma página melhor melhora o resultado de todos os canais ao mesmo tempo.
Quando o anúncio vai bem e a página vai mal, o dinheiro está sendo gasto para levar gente a um lugar que não convence. É o cenário mais caro dos dois.
Um erro de leitura que aparece sempre
Quando uma versão vence, a tentação é concluir que aquele elemento é melhor em qualquer situação. Não é. O resultado vale para aquele público, naquele contexto e naquele momento.
Costumo sugerir que se anote o contexto junto do resultado: qual público, qual canal, qual período. Isso evita transformar um achado local em regra da casa, que é como nascem as crenças que ninguém questiona depois.
O teste que vira fuga
Existe um uso ruim do método: testar para não decidir. Quando o problema é preço mal calculado ou serviço mal definido, nenhuma variação de texto resolve, e o teste vira uma forma elegante de adiar a conversa difícil.
Vale a pergunta antes de começar: se o resultado der certo, o que muda de fato no negócio? Se a resposta for pouca coisa, o teste provavelmente não era a prioridade.
Esse cuidado vale para qualquer ajuste dentro de uma campanha de vendas pela internet, e conversa com o que trata marketing digital para iniciantes sobre medir o que importa.
Perguntas frequentes
O que é teste A/B?
É mostrar duas versões para metades diferentes do público, no mesmo período, e comparar qual gera mais do que você quer. O mesmo período é essencial: comparar janeiro com fevereiro não é teste, é observação.
O que vale a pena testar?
Texto da primeira tela, quantidade de campos do formulário e forma de apresentar o preço são os de maior efeito. Cor de botão é fácil de testar e quase não muda nada.
Quanto tempo deixar o teste rodando?
Pelo menos duas semanas inteiras, para cobrir dias úteis e fim de semana, e até acumular um número de conversões que não caiba no acaso. Dois contatos contra três não decide nada.
Meu site tem pouco acesso. Adianta testar?
Não. Abaixo de certo volume, cinco conversas com quem pediu orçamento e não fechou ensinam mais do que qualquer amostra pequena.
Por Priscila Falchi – Consultoria de Marketing e fundadora da Modernizza Marketing Digital
