Teste A/B: o que é, como fazer e calcular resultados

Teste A/B é um experimento que compara duas experiências, A e B, para estimar o efeito de uma mudança sobre uma métrica definida. Em uma página, grupos comparáveis recebem as versões ao mesmo tempo, normalmente por distribuição aleatória. A decisão considera o resultado, sua incerteza e o impacto no negócio.

Imagine a MAIKON.biz revisando a página de um curso. O botão “Saiba mais” poderia dar lugar a “Ver conteúdo do curso”. A pergunta útil seria: essa mudança ajuda mais visitantes a avançar com entendimento da oferta? Contar cliques é parte da resposta; acompanhar inscrições, dúvidas e vendas completa a avaliação.

Neste guia, você verá o que testar, como calcular as taxas e como planejar a análise. Todos os exemplos e números atribuídos à MAIKON.biz são fictícios e didáticos. Eles não representam campanhas, clientes ou resultados reais da empresa.

Antes de começar: escreva a hipótese, a métrica principal, quem participa, a amostra necessária e a regra de encerramento. O teste não garante aumento de vendas e pode terminar sem uma conclusão suficiente para trocar a versão atual.

O que é teste A/B e o que ele permite concluir

A versão A costuma ser a experiência atual, chamada controle. A versão B apresenta a mudança. Por exemplo, a MAIKON.biz poderia manter a página de consultoria em A e reorganizar a explicação da entrega em B. A comparação procura separar o efeito da mudança das variações normais dos dados.

Para isso, o desenho precisa distribuir participantes de forma adequada e manter o registro de qual experiência cada um recebeu. Mostrar A em uma semana e B na seguinte cria outra comparação: alterações na campanha, no público ou no calendário também podem explicar o resultado.

É possível comparar duas páginas inteiras em um teste A/B. Entretanto, se título, imagem e oferta mudam juntos, o efeito estimado pertence ao conjunto. Você não saberá qual elemento causou a diferença. Alterar um elemento relevante facilita essa interpretação, mas não define sozinho se o experimento é A/B.

Já um teste multivariado combina variações de diferentes elementos para avaliar seus efeitos e, conforme o desenho, suas interações. Isso costuma ampliar as combinações e a necessidade de tráfego. Para uma primeira experiência da MAIKON.biz, uma pergunta específica torna o aprendizado mais fácil de aplicar.

O que testar em páginas, e-mails e vendas

Comece por uma dificuldade observada no percurso do cliente. Se as pessoas perguntam o que está incluído na consultoria, reformular a explicação pode ser mais útil que mudar uma cor sem hipótese. Use atendimentos e análise de navegação para escolher o problema.

Consulte os guias de landing pages e os 40 exemplos de CTA para preparar alternativas. Eles ajudam a escrever experiências claras; não substituem a validação no seu público.

Em e-mail, estabeleça se a taxa usa mensagens enviadas, entregues ou contatos participantes. Essas bases respondem a perguntas diferentes. Uma versão que altera a entrega pode afetar a própria base de mensagens entregues. Além disso, aberturas sofrem interferência de mecanismos de privacidade, por isso não devem sustentar sozinhas a escolha comercial.

No atendimento B2B, várias pessoas da mesma empresa podem compartilhar a decisão. Distribuí-las individualmente entre abordagens pode misturar experiências. Avalie se a unidade do experimento deve ser a conta, com análise compatível. O mesmo cuidado vale quando equipes compartilham um roteiro.

Como calcular os resultados do teste A/B

Para uma conversão binária por pessoa, defina previamente o que conta como sucesso e a janela de observação. Um participante pode contar uma vez como convertido, mesmo que envie o formulário duas vezes. Já receita por participante e quantidade de compras exigem métricas e análise diferentes.

Taxa de conversão = participantes que converteram ÷ participantes elegíveis atribuídos à versão × 100.
Use o mesmo critério nas duas versões e mantenha os participantes relevantes na análise, inclusive quem não concluiu a ação.

Suponha que a MAIKON.biz tenha distribuído 1.000 participantes para cada versão de uma página. Na janela definida, 80 pessoas de A e 100 de B completaram o formulário. A contagem exclui envios duplicados da mesma pessoa.

A diferença observada é de 2 pontos percentuais: 10% menos 8%. O aumento relativo observado é de 25%: (10% − 8%) ÷ 8% × 100. Escrever “cresceu 2%” deixaria ambíguo qual medida foi usada.

Se a taxa de A for zero, o aumento relativo não pode ser calculado por essa divisão. Apresente as contagens e a diferença em pontos percentuais. Da mesma forma, zero participantes não produz uma taxa de conversão válida; primeiro investigue a ausência de dados.

Por que uma taxa maior ainda não define a vencedora

A tabela mostra uma diferença na amostra. Ela não informa, sozinha, se há evidência suficiente para adotar B. É necessário considerar a variação esperada pelo desenho e o método estatístico escolhido. O NIST apresenta o teste para comparar duas proporções, com hipóteses e condições de aplicação.

Na análise, confira a estimativa do efeito e seu intervalo de confiança. Um intervalo amplo sinaliza que resultados bastante diferentes continuam compatíveis com os dados e o método. Para a MAIKON.biz, isso pode impedir decidir se o ganho compensaria o custo de alterar a página.

O valor-p também exige interpretação cuidadosa. Ele expressa a probabilidade de obter resultados tão extremos ou mais extremos sob a hipótese nula e as premissas do teste. Ele não é a probabilidade de B ser melhor, nem a chance de a conclusão estar errada. A documentação de experimentação da Microsoft apresenta esse conceito.

Além disso, relevância estatística e relevância comercial são avaliações distintas. Um ganho pequeno pode custar mais para manter do que entrega. Uma diferença sem evidência suficiente também não prova igualdade entre A e B: o teste pode não ter precisão para detectar um efeito útil.

Quanto tempo deve durar um teste A/B

Não existe duração universal de 15, 30 dias ou um mês. A amostra depende da taxa atual, do menor efeito que interessa detectar, do nível de significância, do poder estatístico, da divisão de tráfego e da unidade de análise. O planejamento deve usar um cálculo adequado ao desenho.

Na prática, a MAIKON.biz poderia querer detectar um aumento de 8% para 10% na conversão. O efeito mínimo de interesse seria de 2 pontos percentuais, equivalente a 25% relativo. Essa escolha precisa de uma justificativa comercial antes de olhar os resultados.

Depois de estimar a amostra por grupo, confronte-a com o fluxo de participantes elegíveis. O calendário também precisa contemplar ciclos relevantes e o tempo até a conversão. Uma venda de consultoria pode exigir acompanhamento maior que um clique no botão de um curso.

Se o prazo viável não comporta a amostra, reduza o número de versões ou escolha uma hipótese com efeito relevante que o tráfego permita avaliar. Pesquisa com usuários e correção de problemas evidentes também ajudam. Nenhuma dessas alternativas autoriza declarar vencedora uma versão sem evidência.

Como referência de método, a Microsoft Research orienta o planejamento antes do experimento, incluindo hipótese, métricas, potência e unidade de randomização. O volume de uma grande plataforma não deve ser usado como regra de prazo para uma pequena empresa.

Como fazer um teste A/B em sete passos

1. Escolha uma pergunta ligada ao negócio

Registre o problema, a evidência inicial e a hipótese. Exemplo fictício: “Explicar quais processos a consultoria aborda aumentará contatos adequados ao serviço”. Relacione a hipótese à qualificação de leads, em vez de buscar qualquer cadastro.

2. Defina a métrica principal e os limites de qualidade

Escolha a medida que orientará a decisão. Em seguida, determine o que não pode piorar de forma relevante: erros no formulário, tempo de carregamento, dúvidas, qualidade dos contatos ou cancelamentos. O CTR ajuda a entender cliques, mas não resume todo o percurso até a venda.

3. Planeje público, amostra e encerramento

Documente elegibilidade, unidade de distribuição, proporção de alocação, efeito mínimo, método de análise e janela de conversão. Defina a regra de término. Para uma empresa em São Paulo ou Recife, use o tráfego real da operação; esses exemplos de cidades não indicam volume de buscas ou desempenho regional.

4. Prepare as versões e confira a medição

Revise texto, links, acessibilidade, formulário e apresentação no celular. Faça testes de registro antes de iniciar. Confirme que cada conversão fica ligada à versão correta. A pessoa deve permanecer na experiência atribuída conforme o desenho, sem alternar versões a cada atualização da página.

5. Distribua e acompanhe a integridade dos dados

Verifique se a distribuição observada é compatível com a planejada. Pequenas diferenças entre grupos são normais; um desvio estatisticamente inesperado precisa de investigação. A Microsoft Research chama esse problema de Sample Ratio Mismatch. Falhas na atribuição ou no registro podem comprometer a conclusão.

6. Analise pela regra combinada

Acompanhe falhas e danos durante o teste, mas evite encerrar ao primeiro resultado favorável de uma análise convencional. Olhar repetidamente e parar quando aparece significância exige controle estatístico apropriado. Métodos sequenciais podem permitir decisões antecipadas quando foram planejados e implementados corretamente.

A orientação da Microsoft para testes em andamento aborda monitoramento, métricas de proteção e o cuidado com consultas repetidas. Interromper uma versão com defeito protege o usuário; não transforma automaticamente a outra em vencedora comprovada.

7. Registre a decisão e o aprendizado

Anote período, participantes, conversões, efeito, incerteza, problemas e decisão. Se B for adotada, acompanhe o comportamento após a mudança. Para a MAIKON.biz, o registro deve explicar o que foi aprendido sobre a oferta e qual pergunta será avaliada depois.

Como decidir entre adotar, manter ou investigar

Suponha que B gere mais formulários, mas também mais pessoas buscando um serviço que a MAIKON.biz não oferece. O esforço do atendimento pode crescer sem aumento de oportunidades adequadas. Por isso, acompanhe o avanço no CRM e os critérios definidos antes do teste.

Confira ainda se a mudança compensa desenvolvimento, criação e manutenção. O guia de ROI ajuda a organizar custos e retorno. Um teste de conversão não calcula automaticamente lucro nem prova que toda venda do período foi causada pela alteração.

Ferramentas e IA para apoiar o experimento

A execução precisa de três capacidades: distribuir experiências, registrar eventos e analisar os dados. Elas podem estar em uma plataforma ou em integrações. Confirme identificação dos participantes, persistência da versão, tratamento de erros, método estatístico e possibilidade de exportar os resultados.

O Google Analytics pode apoiar a medição, mas seu uso não significa que a distribuição A/B está configurada. Além disso, Google Optimize e Optimize 360 foram encerrados em 30 de setembro de 2023, conforme o aviso oficial do Google. Tutoriais antigos baseados nessas ferramentas precisam ser revistos.

Na operação da MAIKON.biz, RD Station Marketing pode fazer parte do trabalho com páginas e campanhas, enquanto o CRM organiza o acompanhamento comercial. Antes de escolher uma solução, confira os recursos de teste, limites do plano e integrações atuais. Ter essas ferramentas não valida, por si só, o desenho do experimento.

A IA pode sugerir versões de títulos e CTAs, resumir dúvidas recorrentes e ajudar a documentar hipóteses. Faça revisão humana para manter clareza, identidade da marca e coerência com a entrega. Não use depoimentos inventados, preços incorretos ou promessas que o serviço não sustenta.

Se sua equipe precisa estruturar hipóteses, conteúdo e acompanhamento, conheça a consultoria de marketing, vendas e IA da MAIKON.biz. Para desenvolver a execução interna, consulte os cursos online disponíveis e verifique o programa adequado à sua necessidade.

Perguntas frequentes sobre teste A/B

Teste A/B precisa mudar apenas um elemento?

Não. Ele pode comparar duas experiências com várias diferenças. Nesse caso, o efeito pertence ao conjunto. Alterar um elemento por vez ajuda a entender a contribuição daquela mudança; testes multivariados usam um desenho para avaliar combinações de elementos.

Quantas pessoas são necessárias para um teste A/B?

Não há um número único. A amostra depende da taxa inicial, do efeito mínimo de interesse, da significância, do poder, da alocação e da unidade de análise. Calcule antes de iniciar, usando um método compatível com a métrica e o desenho.

Uma taxa de 10% vence automaticamente uma de 8%?

Não. Essa é uma diferença observada de 2 pontos percentuais, ou 25% relativo. A decisão também exige avaliar tamanho da amostra, incerteza, validade dos dados, critérios de qualidade e relevância comercial.

Posso parar o teste assim que aparecer significância?

Em uma análise convencional com término fixo, parar na primeira leitura favorável pode aumentar falsos positivos. Siga a regra planejada ou use um método sequencial adequado. Falhas e danos ao usuário devem ser monitorados e tratados durante a execução.

O Google Optimize ainda pode ser usado?

Não. Google Optimize e Optimize 360 foram encerrados em 30 de setembro de 2023. Revise tutoriais antigos e escolha uma estrutura atual que distribua versões, registre eventos e permita analisar o experimento.

Teste A/B garante mais vendas?

Não. Ele ajuda a avaliar hipóteses e também pode revelar piora ou terminar inconclusivo. Para a MAIKON.biz, o aprendizado precisa conectar a experiência do visitante à qualidade dos contatos, ao atendimento, aos custos e às vendas.