Teste A/B: o que é, como fazer e calcular resultados

Teste A/B é um experimento que compara duas versões para estimar o efeito de uma mudança sobre uma métrica. Distribua as versões simultaneamente entre unidades elegíveis, normalmente por sorteio. Em seguida, compare o efeito, a incerteza e os critérios definidos antes do teste.

Abra uma página que já recebe pedidos e escolha uma dificuldade registrada. Em seguida, defina uma mudança na mensagem ou no percurso. Decida se o resultado será clique, solicitação confirmada ou oportunidade adequada.

Use os sete passos e a ficha para planejar a comparação. Em seguida, preencha a tabela com os atribuídos e convertidos de cada versão. Calcule a diferença antes de avaliar se os dados permitem adotar a mudança.

O que é teste A/B e o que ele permite concluir

A versão A costuma ser a experiência atual, chamada controle. Já B apresenta a mudança. Se o teste for na página de consultoria, registre a diferença entre as versões e a pergunta comercial que ela pretende responder.

Distribua participantes entre as versões no mesmo período e registre a versão atribuída. Já publicar A em uma semana e B na seguinte compara períodos. Mudanças em campanha, público ou calendário também podem explicar a diferença.

Um teste A/B pode comparar duas páginas inteiras. Porém, se título, imagem e oferta mudarem juntos, o efeito estimado pertence ao conjunto. Para avaliar um elemento, planeje a comparação mantendo os demais em condições equivalentes.

Combinações de elementos

Um teste multivariado combina variações de elementos para avaliar efeitos e, conforme o desenho, interações. Além disso, as combinações podem exigir mais tráfego. Comece pela pergunta que pode mudar uma decisão.

Aplicações do teste A/B em páginas, e-mails e vendas

Comece por uma dificuldade observada no percurso do cliente. Por exemplo, revise dúvidas sobre escopo, dúvidas após o clique ou erros no formulário. Em seguida, escolha uma alteração ligada à causa que a equipe consegue investigar.

Use os guias de landing pages e 40 exemplos de CTA para preparar as versões. Em seguida, confira a relação entre a chamada e a página com o guia de copywriting.

Em e-mail, defina se a unidade é contato ou mensagem e qual evento confirma o resultado. Se a mudança também afetar a entrega, acompanhe esse efeito e evite limitar a análise principal a quem recebeu a mensagem. Além disso, interprete aberturas considerando os mecanismos de privacidade.

No atendimento B2B, pessoas da mesma empresa podem compartilhar a decisão. Por isso, avalie se o sorteio deve ocorrer por conta. Em seguida, aplique uma análise compatível com a unidade de atribuição e com o agrupamento dos dados.

Como calcular os resultados do teste A/B

Para medir conversão por participante, defina previamente o evento e a janela. Em seguida, conte cada unidade uma vez como convertida quando ela cumprir o critério. Use outra análise para quantidade de compras ou receita por participante.

O guia de participante e sessão na conversão do teste A/B mostra como a unidade muda o denominador. Em seguida, confira se a unidade da taxa corresponde à unidade que recebeu a versão.

Abra a exportação do experimento e registre nA e nB para unidades elegíveis atribuídas, e xA e xB para as que converteram no prazo. Em seguida, confira se cada conversão está ligada à versão e se xA ≤ nA e xB ≤ nB. Use a mesma janela nas duas versões.

FICHA DE TESTE A/B PARA PLANEJAR E DECIDIR
PERGUNTA E MEDIÇÃO
Problema observado, fonte e mudança avaliada [registre]
Unidade, elegibilidade, evento e janela de conversão [defina]
PLANO
Taxa de referência, menor efeito útil, amostra e proporção [calcule]
Método de análise, limites de qualidade e regra de encerramento [combine]
CONTAGENS E INTEGRIDADE
Atribuídos em A e B, convertidos em A e B, período e exclusões [registre]
Atribuição, persistência, duplicidades e distribuição [confira]
ANÁLISE E DECISÃO
Taxas, diferença em pontos percentuais e intervalo [calcule]
Critérios atingidos, decisão, responsável e data de revisão [documente]

Diferença absoluta e variação relativa

Subtraia a taxa de A da taxa de B para obter a diferença observada em pontos percentuais. Em seguida, para calcular a variação relativa, divida essa diferença pela taxa de A e multiplique por 100. Informe a unidade do efeito junto das duas taxas.

Se a taxa de A for zero, apresente as contagens e a diferença em pontos percentuais. A variação relativa fica indisponível. Da mesma forma, uma versão com zero participantes fica sem taxa válida. Investigue a origem do registro antes de concluir.

Incerteza e validade do teste A/B

A diferença entre taxas descreve o resultado observado. Para avaliar a mudança, considere a precisão do efeito e a validade do desenho. O NIST apresenta métodos para intervalos da diferença entre duas proporções. Escolha um método compatível com a atribuição e a métrica.

Confira o efeito e o intervalo de confiança correspondente. Um intervalo amplo comporta efeitos com consequências distintas. Por isso, compare-o com o menor efeito comercial relevante que a equipe definiu antes do teste.

Valor-p e relevância comercial

Sob a hipótese nula e as premissas do teste, o valor-p mede quão incomum seria um resultado tão extremo quanto o observado ou mais. Em seguida, interprete-o junto com o efeito e sua precisão. Consulte a documentação de experimentação da Microsoft.

Além disso, compare a diferença com o custo de implementação e manutenção. Um ganho detectável pode ficar abaixo do efeito mínimo útil. Se o intervalo incluir efeitos que sustentam decisões diferentes, registre a análise como inconclusiva conforme o critério planejado.

Quanto tempo deve durar um teste A/B

Planeje a amostra com taxa inicial, menor efeito relevante, nível de significância, poder, alocação e unidade de análise. Em seguida, estime o calendário pelo fluxo elegível e pelo tempo necessário para observar as conversões.

Use a taxa de referência da sua operação e estime a menor diferença que justificaria a alteração. Em seguida, registre esse efeito em pontos percentuais e explique o critério comercial. Defina a medida antes de acompanhar o resultado.

Depois de estimar a amostra, compare-a com o fluxo de participantes elegíveis. Além disso, cubra os ciclos relevantes e a janela de conversão. Para medir uma venda, aguarde o prazo definido para os participantes dos dois grupos.

Se o fluxo for insuficiente, ajuste a pergunta, reduza o número de versões ou use pesquisa com usuários para investigar a dificuldade. Em seguida, documente o aprendizado compatível com o método e os dados disponíveis.

A Microsoft Research orienta o planejamento antes do experimento. Use hipótese, métrica, poder e unidade de atribuição para dimensionar o teste. Em seguida, confronte o cálculo com o tráfego da própria operação.

Hipótese

Use uma dificuldade observada e escolha uma métrica principal.

Atribuição

Planeje amostra e distribuição. Registre a versão de cada unidade.

Medição

Conte as unidades elegíveis e o resultado na janela combinada.

Decisão

Compare efeito, intervalo e limites de qualidade pela regra planejada.

Investigue desvios de distribuição ou registro antes de interpretar o resultado. MAIKON.biz

Descrição da figura

Diagrama editorial de teste A/B com alternativa em texto, sem representar dados de uma campanha.

Como fazer um teste A/B em sete passos

1. Defina o objetivo e a hipótese

Registre a dificuldade observada, a fonte e a mudança que pode tratá-la. Em seguida, escreva qual resultado deve mudar e por quê. Quando a tarefa for obter oportunidades adequadas, combine a qualificação de leads com quem atende os pedidos.

2. Métrica principal e limites de proteção

Escolha a medida que orientará a decisão. Em seguida, defina limites para erros, tempo de carregamento e qualidade dos contatos, conforme o teste. Use o CTR para avaliar cliques e os registros do atendimento para avaliar o avanço comercial.

3. Planeje público, amostra e encerramento

Documente elegibilidade, unidade, alocação, efeito mínimo, método e janela. Em seguida, defina a regra de encerramento com o fluxo disponível. Inclua como serão tratadas as conversões observadas depois da atribuição.

4. Prepare as versões e confira a medição

Revise texto, links, acessibilidade, formulário e tela de celular. Em seguida, confira atribuição, persistência e registro de eventos antes de iniciar. Mantenha a versão conforme o desenho e separe verificações internas da base elegível.

5. Distribua e acompanhe a integridade dos dados

Compare a distribuição observada com a proporção planejada. Se o desvio for estatisticamente inesperado, investigue atribuição, carregamento e registro. A Microsoft Research chama esse problema de Sample Ratio Mismatch. Suspenda a interpretação do efeito até esclarecer a integridade da comparação.

Use o guia de divisão de público no teste A/B para conferir plano e contagens. Em seguida, localize a etapa em que o desvio aparece. Registre o que foi confirmado e o que ainda precisa ser investigado.

6. Analise pela regra combinada

Acompanhe falhas e impactos ao usuário durante o teste. Para uma análise com término fixo, siga o encerramento planejado. Se houver decisões antecipadas baseadas em evidência, use um método sequencial adequado e previsto no plano.

A orientação da Microsoft para testes em andamento aborda monitoramento e consultas repetidas. Se uma versão apresentar defeito, interrompa a exposição quando necessário. Em seguida, registre o motivo e avalie o que os dados ainda permitem concluir.

7. Registre a decisão e o aprendizado

Anote período, participantes, conversões, efeito, incerteza, problemas e decisão. Se B for adotada, acompanhe seu desempenho após a mudança. Por fim, registre o aprendizado, o responsável e a data de revisão.

Critérios de decisão no teste A/B

Compare contatos recebidos, contatos adequados e avanço no CRM. Se uma versão elevar os envios e piorar um limite de qualidade, investigue a relação entre oferta, público e atendimento antes de decidir.

Em seguida, confira se a mudança compensa desenvolvimento, criação e manutenção. Use o guia de ROI para organizar custos e retorno. Separe a conversão medida do lucro e das vendas acompanhadas.

Ferramentas e IA para apoiar o experimento

A execução exige distribuir versões, registrar eventos e analisar dados. Antes de escolher a ferramenta, confira identificação da unidade, persistência, erros, método de análise e exportação. Valide cada etapa com a ficha.

O Google Analytics pode apoiar a medição. Em seguida, confirme qual ferramenta distribui e mantém as versões. Google Optimize e Optimize 360 foram encerrados em 30 de setembro de 2023, conforme o aviso oficial do Google.

A RD Station apresenta RD Marketing e RD Vendas como produtos para funções distintas de marketing e vendas. Em seguida, confira se o plano e as integrações oferecem a distribuição, a medição e a exportação que seu teste exige.

A IA pode sugerir títulos e chamadas, resumir dúvidas e organizar hipóteses. Em seguida, confira escopo, condições e promessas com os registros da oferta. Valide a medição na ferramenta escolhida.

Se você precisa organizar hipóteses, conteúdo e acompanhamento, conheça nossa consultoria de marketing, vendas e IA. Para desenvolver a execução interna, consulte nossos cursos online e confira os programas pertinentes à sua necessidade.

Perguntas frequentes sobre teste A/B

Teste A/B precisa mudar apenas um elemento?

O teste pode comparar duas experiências com várias diferenças. Nesse caso, o efeito estimado pertence ao conjunto. Para isolar uma mudança, mantenha as demais condições equivalentes.

Quantas pessoas são necessárias para um teste A/B?

Não há um número único. A amostra depende da taxa inicial, do efeito mínimo de interesse, da significância, do poder, da alocação e da unidade de análise. Calcule antes de iniciar, usando um método compatível com a métrica e o desenho.

Uma taxa observada maior define a vencedora?

Uma taxa maior indica diferença observada. Para decidir, avalie amostra, intervalo, integridade, limites de qualidade e efeito mínimo relevante. Em seguida, aplique o critério combinado antes do teste.

Posso parar o teste assim que aparecer significância?

Em uma análise convencional com término fixo, parar na primeira leitura favorável pode aumentar falsos positivos. Siga a regra planejada ou use um método sequencial adequado. Falhas e danos ao usuário devem ser monitorados e tratados durante a execução.

O Google Optimize ainda pode ser usado?

Não. Google Optimize e Optimize 360 foram encerrados em 30 de setembro de 2023. Revise tutoriais antigos e escolha uma estrutura atual que distribua versões, registre eventos e permita analisar o experimento.

Teste A/B garante mais vendas?

Não. Ele ajuda a avaliar hipóteses, pode revelar piora e pode terminar inconclusivo. Recomendamos relacionar a experiência do visitante à qualidade dos contatos, ao atendimento, aos custos e às vendas.