Divisão de público no teste A/B: confira plano e contagens

Para conferir a divisão de público no teste A/B, compare a proporção definida no planejamento com as contagens de participantes registradas em cada versão. Use a mesma unidade, população e período. Uma diferença entre os totais pede uma leitura compatível com o desenho; ela não demonstra, sozinha, falha de distribuição ou vantagem de uma versão.

A divisão pode ser planejada em 50/50 ou em outra proporção. Mesmo com distribuição aleatória em partes iguais, as contagens não precisam terminar exatamente iguais. O cuidado é reconhecer desvios que exijam investigação antes de confiar na análise do efeito.

O guia de teste A/B reúne hipótese, amostra e interpretação. Aqui, aprofundamos a conferência do público: como relacionar plano e registros, quais perguntas encaminhar à equipe responsável e por que uma comparação aritmética ainda não é um diagnóstico estatístico.

Recupere a divisão prevista antes de olhar os resultados

Localize a versão do planejamento que orientou a execução. Confirme quem poderia participar, qual unidade receberia A ou B, qual proporção foi configurada e em que período ela deveria valer. Registre alterações que tenham ocorrido, sem substituir o histórico pela configuração mais recente.

Uma divisão 40/60 pode ser intencional. Se o plano previa 50/50, as mesmas contagens precisam ser avaliadas contra outra expectativa. Não mude a proporção documentada depois de olhar os números apenas para fazer o relatório parecer compatível.

Diferencie a parcela de tráfego incluída no experimento da divisão entre suas versões. Reservar uma parte do site para o teste e separar esse grupo entre A e B são decisões relacionadas, mas não idênticas. Confira qual percentual a tela está apresentando antes de compará-lo com uma tabela de participantes.

Separe participantes, visitas e resultados

Um participante pode voltar várias vezes ao site e realizar mais de uma ação. Se o desenho distribui pessoas, contar sessões ou pedidos não reproduz automaticamente o tamanho dos grupos. Confira a definição e como os registros identificam cada unidade.

Também diferencie o registro de atribuição à versão de um evento posterior, como carregar uma página ou concluir um formulário. Uma condição aplicada depois da distribuição pode excluir participantes de formas diferentes. A conferência precisa localizar em que etapa as contagens foram produzidas.

O guia de teste A/B no e-commerce aprofunda essa relação entre participantes, etapas e compras. Contar somente quem comprou e usar essa divisão como se fosse a distribuição inicial confunde o resultado com a base do experimento.

Exemplo fictício: plano 50/50 e registro 400/600

Exemplo fictício: uma loja de tapetes planeja T025 para comparar duas formas de organizar as informações de uma página. O período didático é de 01 a 14/11/2026. A unidade do exercício é um participante único, contado uma vez. A proporção prevista é 50% para A e 50% para B, sem alteração durante essa janela.

O registro fictício reúne 1.000 participantes: 400 em A e 600 em B. Aplicando a proporção planejada ao total, a contagem esperada é 500 em cada versão. A participação registrada é de 40% em A e 60% em B. Esses números foram criados para explicar a conferência; nenhum experimento foi executado.

Premissas do exercício

T025 fictício, de 01 a 14/11/2026. Participante único contado uma vez. Total de referência de 1.000 participantes.

Plano 50/50 · Contagem esperada

A: 500 participantes, ou 50%. B: 500, ou 50%. Expectativa aritmética para o mesmo total de 1.000.

Registro fictício · Contagem por versão

A: 400 participantes (40%). B: 600 (60%). Diferenças em relação ao esperado: A = -100; B = +100.

O que a comparação não demonstra

Barras na mesma escala de zero a 1.000. Nenhum experimento foi executado. Não houve teste de SRM, causa identificada, conversões medidas ou versão vencedora definida.

Descrição da figura

Gráfico próprio de barras empilhadas para o exercício fictício T025, de 01 a 14 de novembro de 2026. A unidade é participante único, contado uma vez no registro do exercício. As duas barras têm comprimento correspondente a mil participantes na mesma escala, de zero a mil, com marcas a cada 250. A primeira mostra a expectativa sob proporção planejada 50/50: A 500, ou 50%, e B 500, ou 50%. A segunda mostra o registro fictício: A 400, ou 40%, e B 600, ou 60%. A diferença entre registrado e esperado é menos cem para A e mais cem para B. As categorias são identificadas por letras, valores e percentuais, sem depender apenas da cor. As contas não identificam pessoas ausentes ou repetidas, causa de falha, significância estatística ou efeito da versão. Não houve experimento, teste de SRM, conversões ou vencedor medidos. No celular, a mesma informação aparece em texto HTML.

A conta localiza uma diferença de 100 participantes em cada direção em relação à expectativa. Ela não identifica quem estaria ausente, quem teria sido repetido ou se houve falha no sistema. Também não calcula a significância do desvio. Essas perguntas exigem dados e análise adicionais.

Em outro plano hipotético, definido desde o início em 40/60, o total de 1.000 produziria expectativa de 400 em A e 600 em B. As contagens coincidiriam com essa expectativa aritmética. Essa coincidência não provaria que todas as etapas do teste estão corretas. É outro cenário de planejamento, sem autorizar uma mudança retroativa em T025.

O que significa Sample Ratio Mismatch

Sample Ratio Mismatch, ou SRM, descreve um desvio estatisticamente significativo entre a proporção de participantes observada nas versões e a proporção prevista. A explicação da Microsoft Research sobre SRM, publicada em 14 de setembro de 2020, ressalta que olhar apenas a razão entre A e B não basta: o tamanho da amostra participa da avaliação.

A fonte apresenta a detecção estatística e a investigação da causa como etapas diferentes. Uma indicação de SRM é um alerta de qualidade a examinar antes de confiar no resultado do experimento. Este artigo não aplica um teste de SRM ao exemplo e não apresenta um limite universal de diferença percentual.

Na documentação de experimentação do PlayFab, a seção de SRM recomenda investigar o alerta e examinar mudanças de registros, filtros e execução. As contagens ajudam a localizar a dúvida; elas não revelam automaticamente a causa nem transformam uma versão em vencedora.

Se a plataforma fornecer uma verificação, confira sua base, método e recorte com o responsável pela análise. Um valor-p de uma verificação de distribuição responde a outra pergunta que um valor-p de efeito sobre conversão. Não trate os dois como se fossem a mesma prova.

Investigue onde o público pode ter mudado de contagem

Comece conferindo se plano e relatório usam a mesma janela e a mesma população. Um intervalo que pega momentos com configurações diferentes pode exigir separação dos períodos e nova análise. Não compare uma configuração atual com um acumulado antigo sem reconhecer a mudança.

Depois, examine o percurso dos registros. Na etapa de atribuição, confira identificação e associação à versão. Na coleta, procure condições em que uma experiência deixe de registrar um evento necessário. No processamento, examine duplicidades, junções e exclusões. Trate essas possibilidades como hipóteses até encontrar evidência.

A Microsoft Research descreve causas possíveis em diferentes etapas, da atribuição à análise. Isso ajuda a organizar perguntas, sem permitir escolher uma explicação pelo formato do gráfico. Se o problema aparecer apenas num recorte, investigue a regra que forma esse grupo e sua correspondência entre A e B.

Evite retirar participantes de um grupo só para igualar os totais. Isso muda a base sem resolver a origem da diferença. Preserve os registros e aplique o tratamento definido com a equipe responsável, documentando o que foi corrigido e quais conclusões precisam ser refeitas.

Separe integridade da divisão e efeito sobre a métrica

Uma distribuição compatível com o plano não prova que B aumentou a conversão. A análise de efeito ainda precisa considerar métrica, amostra, incerteza, regra de encerramento e condições do experimento. Da mesma forma, mais participantes ou mais ações em B não demonstram maior eficácia.

Quando houver um problema material de integridade, mantenha a decisão de adoção dependente da investigação pertinente. Se a ocorrência exigir interromper uma experiência com falha, essa proteção operacional não declara automaticamente a outra versão vencedora.

O roteiro de experimentos no processo de growth hacking ajuda a registrar a decisão e o aprendizado. Uma revisão útil distingue a diferença encontrada, a causa sustentada, a correção aplicada e a análise refeita. A hipótese inicial pode continuar sem resposta suficiente.

Experimento e versões: [identificar]
Plano e configuração vigentes na janela: [guardar referência]
Elegibilidade e unidade de distribuição: [definir]
Proporção entre versões e parcela do público no teste: [separar]
Período, horários e alterações de configuração: [conferir]
Etapa de origem das contagens: [atribuição, evento ou outra]
Critérios de inclusão, exclusão e deduplicação: [registrar]
Total e contagens por versão: [conferir]
Contagens esperadas sob a proporção definida: [calcular]
Verificação de SRM, método e recorte, se realizada: [evidência]
Hipóteses de falha e evidências a buscar: [não confundir com causas]
Correção aplicada, responsável e registros preservados: [documentar]
Nova conferência e análise de efeito: [registrar separadamente]
Decisão, limites e pendências: [preservar]

No exercício T025, foram conferidas apenas somas, participações e diferenças aritméticas. Não houve teste estatístico de distribuição, causa identificada, conversões medidas ou versão vencedora definida. Em um caso real, mantenha esses estados separados no registro.

Perguntas frequentes sobre divisão de público no teste A/B

A divisão precisa ser sempre 50/50?

Não. A proporção deve ser definida no planejamento e considerada na execução e na análise. Uma divisão diferente pode ser intencional; não a substitua depois apenas para ajustar o relatório.

Totais diferentes já comprovam SRM?

Não. SRM envolve uma avaliação estatística da diferença em relação ao plano, com tamanho da amostra e premissas pertinentes. A inspeção das contagens é parte da conferência, sem substituir essa avaliação.

Posso contar pedidos para verificar a divisão de pessoas?

Pedidos são resultados que podem se repetir para a mesma pessoa. Se a unidade distribuída é o participante, confira essa unidade e a população pertinente, sem substituir a base pelo resultado.

Uma divisão compatível comprova que a versão B é melhor?

Não. Integridade da divisão e efeito sobre uma métrica são verificações diferentes. A decisão ainda exige analisar efeito, incerteza e critérios definidos no planejamento.

Se sua equipe precisa organizar hipóteses, medição e decisões de melhoria, converse conosco sobre o planejamento dos experimentos. Podemos ajudar a definir o escopo e as responsabilidades. Implementação técnica, investigação dos registros e análise estatística precisam de entregas e apoio compatíveis.