Como fazer benchmark de presença de marca nas respostas de IA

Um benchmark de visibilidade em IA começa pela comparação das mesmas condições de coleta. Conte a presença da sua marca e do concorrente nas respostas a uma mesma pergunta, no mesmo assistente e no mesmo modo. Em seguida, mostre quantas respostas cada rodada trouxe e recalcule as taxas com as condições que tiveram resposta válida nas duas.

Por exemplo, olhando todas as respostas da demonstração abaixo, a vantagem do concorrente parece passar de 12,5 para 33,3 pontos percentuais. Entretanto, quando comparamos as mesmas seis condições, a vantagem fica em 33,3 pontos percentuais nas duas rodadas. O guia de GEO mostra onde essa comparação entra na rotina de observação. GEO para empresas.

A base de um benchmark de visibilidade em IA

Benchmark é uma comparação com uma referência escolhida. Aqui, a referência é um concorrente que atende a uma decisão de compra parecida, na mesma região e para um público comparável. Dessa forma, você observa a presença das duas marcas nas respostas de IA que interessam à mesma decisão.

Defina quais perguntas representam essa decisão. Uma equipe de software de atendimento, por exemplo, pode observar dúvidas sobre filas, histórico da conversa, distribuição de contatos e acompanhamento de prazos. Guarde as perguntas que citam uma marca em outro grupo, pois elas já dão ao assistente uma referência que as perguntas espontâneas deixam em aberto. Como criar um banco de perguntas para monitoramento de GEO.

As condições que identificam cada resposta

Dê uma chave a cada combinação de pergunta, assistente e modo para que você possa alinhar as rodadas. Por exemplo, se você fizer a pergunta P1 na IA A com busca ativada, reserve a mesma chave para essa condição na próxima rodada. Além disso, registre idioma, localidade, data, modelo quando visível e contexto da conversa. Sempre que repetir a mesma combinação, adicione um identificador para cada tentativa.

Mantenha as conversas separadas quando o teste pedir perguntas independentes, para que uma pergunta não altere o contexto da seguinte. No ChatGPT, por exemplo, a OpenAI explica que memórias relevantes podem participar da reformulação de uma consulta com busca. Por isso, registre as condições de personalização conhecidas e trate mudanças de configuração como mudanças no teste. Como funciona a busca do ChatGPT.

O registro de presença de cada marca

Para este benchmark de visibilidade em IA, conte a marca uma vez por resposta válida sempre que identificar o nome no texto. Uma resposta entra no denominador mesmo que não mencione nenhuma das duas marcas. Assim, você usa a mesma base para calcular a taxa de cada marca.

Além disso, guarde a citação de página, a recomendação e o contexto em campos próprios. Por exemplo, se o texto diz que uma solução atende a determinado perfil, anote o trecho para conferir essa interpretação. Se houver erro de coleta, registre a falha separadamente, pois faltou uma resposta válida para avaliar. Para comparar a participação de cada marca no total de menções, use o cálculo de Share of Voice em IA.

Taxa, cobertura e diferença entre marcas

A taxa de presença divide as respostas que mencionam a marca pelo total de respostas válidas, enquanto a cobertura informa quantas respostas válidas vieram das tentativas previstas no recorte. Por fim, calcule a diferença entre as marcas subtraindo as duas taxas. Faça a subtração antes de arredondar para que a diferença em pontos percentuais preserve a precisão das contagens.

Recomendamos registrar os números absolutos junto com o percentual. Assim, a equipe consegue perceber quando uma diferença de 20 pontos corresponde a uma única resposta em cinco. Se faltar a identificação por pergunta e condição, apresente as rodadas separadamente até recuperar as chaves, pois elas permitem calcular a base comum.

Um benchmark de visibilidade em IA com oito condições

Suponha que a equipe repita quatro perguntas em dois assistentes, com uma tentativa por combinação em cada rodada. A primeira gera oito respostas válidas, mas na segunda as duas tentativas da pergunta P4 falham. Por isso, só seis condições têm resposta válida nas duas datas.

Com todas as respostas, a vantagem do concorrente fica em 12,5 pontos na primeira rodada, enquanto na segunda chega a 33,3 pontos. A base, porém, mudou. P4 havia trazido duas menções à sua marca e uma ao concorrente na primeira rodada.

A leitura das seis condições em comum

Na comparação sem as duas linhas de P4, sua marca passa de duas para três presenças nas seis respostas, enquanto o concorrente passa de quatro para cinco. Assim, a diferença permanece em duas respostas em seis, ou 33,3 pontos percentuais, embora as taxas das duas marcas tenham subido.

Todas as respostas válidas

12,5 pontos percentuais na rodada 1, com oito respostas. 33,3 na rodada 2, com seis.

Mesmas seis condições

33,3 pontos percentuais nas duas rodadas. A vantagem é de duas respostas em seis.

Descrição do gráfico da diferença entre marcas

Com todas as respostas, o concorrente tem 12,5 pontos de vantagem na primeira rodada, com oito respostas, e 33,3 na segunda, com seis. Na base comum de seis condições por rodada, a diferença é de duas presenças em seis, ou 33,3 pontos nas duas rodadas.

Registre a pendência de P4, pois o resultado da base comum deixa de fora esse assunto. Ao repetir a coleta nas mesmas condições, inclua cada resposta válida, mesmo que favoreça o concorrente. Se nenhuma chave tiver resposta nas duas rodadas, mantenha as taxas separadas, já que falta uma base comparável.

Matriz para conferir seu benchmark de visibilidade em IA

Associe até oito chaves às condições da sua coleta para que cada linha represente a mesma combinação nas duas rodadas. Em seguida, escolha o que ocorreu e confira os dois quadros. O primeiro usa todas as respostas válidas por rodada, enquanto o segundo usa as chaves com resposta válida nas duas.

Como calcular com mais condições na planilha

Para uma coleta maior, organize uma linha por chave e uma coluna de status para cada rodada. Em seguida, filtre as linhas com resposta válida nas duas rodadas para calcular a base comum. Se quiser dar o mesmo peso a cada resposta, some as presenças e as respostas válidas antes de dividir. Uma média simples das taxas por assistente, por outro lado, dá o mesmo peso a cada grupo, mesmo quando eles têm tamanhos diferentes. Por isso, informe qual regra você usou.

O que fazer depois de comparar as rodadas

Volte às respostas em que apenas o concorrente aparece e identifique as perguntas correspondentes. Em seguida, leia a passagem e confira as fontes citadas. Se a diferença se concentrar em um tipo de dúvida, compare o que o concorrente explica com o que já existe no seu site. Desse modo, você pode decidir entre rever a coleta, investigar a visibilidade ou aprofundar uma página. Como investigar lacunas de conteúdo a partir de respostas de IA.

Ferramentas de monitoramento podem reunir respostas, bem como os dados de origem disponíveis. A MOPTIA, uma das soluções com que trabalhamos, informa que permite consultar as respostas e identificar a origem da coleta. Confira período, assistente, país e modo antes de usar os dados no benchmark de visibilidade em IA. O fornecedor observa que uma coleta via API pode diferir do aplicativo. Por isso, trate esses modos como condições distintas. Apresentação pública da MOPTIA.

Por fim, marque a data das alterações e repita as perguntas previstas. A Microsoft descreve a comparação temporal no Bing Webmaster Tools como uma forma de observar mudanças nas citações e aponta fatores como modelos, demanda e conteúdos concorrentes. Da mesma forma, trate uma mudança no seu benchmark como uma observação a investigar. Comparação temporal no Bing Webmaster Tools.

Perguntas frequentes sobre benchmark de visibilidade em IA