Teste de prompt: compare versões com os mesmos casos

Para testar um prompt, compare versões usando os mesmos casos, as mesmas referências e critérios definidos antes de olhar as respostas. Guarde as saídas e registre o que cada uma acertou ou deixou pendente. Uma resposta que parece melhor escrita ainda pode inventar uma condição ou omitir uma informação necessária.

O guia de ChatGPT para marketing e vendas reúne aplicações e modelos de instrução. Aqui, aprofundamos a preparação de uma comparação entre prompts, com um plano fictício que distingue resultado esperado, resposta efetiva e conclusão sobre o teste.

Defina a tarefa e o que caracteriza uma resposta adequada

Escolha uma entrega delimitada, como preparar uma resposta com base em uma ficha aprovada de serviço. Defina o que precisa aparecer, o que não pode ser inventado e como tratar uma lacuna. Esses critérios permitem conferir a resposta sem depender apenas de uma impressão geral de qualidade.

A documentação oficial da OpenAI sobre boas práticas de avaliação explica que respostas de IA podem variar mesmo com a mesma entrada. Recomenda avaliações ligadas à tarefa e combinação de medidas com julgamento humano. O plano abaixo é uma adaptação editorial para preparar uma comparação, sem configurar uma plataforma de avaliação.

Neste tipo de revisão, precisão e estilo precisam de observações próprias. Uma resposta pode respeitar o escopo e ainda estar difícil de entender. Outra pode ser fluida e afirmar um prazo ausente. Se houver uma falha que impede o uso, registre-a claramente, sem deixá-la desaparecer em uma nota média de apresentação.

Prepare casos que revelem decisões diferentes

Exemplo fictício: uma equipe quer comparar instruções para responder perguntas sobre revisão de textos. A ficha abaixo é a única referência autorizada no exercício. Ela não descreve uma oferta contratada nem uma tabela real de serviços da MAIKON.biz.

Serviço fictício: revisão de texto para páginas de serviços.
Inclui: comentários sobre clareza e proposta de ajustes de redação.
Não inclui: diagramação.
Prazo: não informado.

C1 verifica a descrição do escopo. C2 verifica o tratamento de uma informação ausente. C3 verifica um pedido que contraria a referência. Os três casos foram escolhidos para ensinar a montagem do teste. A quantidade não é uma recomendação universal de amostra nem demonstra cobertura de uma operação real.

O critério esperado descreve o sentido que a resposta deve preservar, sem obrigar uma única frase idêntica. Em C2, por exemplo, “o prazo precisa ser confirmado” pode ser adequado, enquanto “entregamos em três dias” inventa uma condição. Essa distinção deve estar definida antes da leitura das saídas.

Salve duas versões e explique a mudança

A versão A abaixo oferece uma orientação breve. A versão B acrescenta tratamento explícito de lacunas e divergências e define campos para revisão. Ambas usam a mesma ficha e a mesma pergunta de cada caso. A presença de mais instruções na B é uma hipótese de melhoria a testar, sem aprovação antecipada.

Responda à pergunta usando a ficha fornecida. Escreva com clareza.
Ficha: [inserir a mesma ficha do caso].
Pergunta: [inserir a mesma pergunta do caso].

Prepare uma resposta para revisão usando somente as informações confirmadas da ficha. Não invente prazo, entrega ou condição. Se a pergunta pedir algo ausente, identifique a lacuna. Se pedir uma inclusão que contrarie a ficha, indique a divergência sem alterar o escopo.
Entregue: resposta breve; informação da ficha que a sustenta; pendência, se houver.
Ficha: [inserir a mesma ficha do caso].
Pergunta: [inserir a mesma pergunta do caso].

Ficha comum do exercício

Revisão de texto para páginas de serviços. Inclui comentários sobre clareza e proposta de ajustes de redação. Não inclui diagramação; prazo não informado.

Os mesmos três casos

C1: o que o serviço entrega? C2: em quantos dias fica pronto? C3: pedido para dizer que a diagramação está incluída.

Prompt A

Orientação breve. Deve receber cada caso com a ficha comum.

Prompt B

Tratamento explícito de lacunas e divergências, com formato de revisão. Deve receber os mesmos casos e ficha.

Revisão depois da execução

Guardar saídas e comparar escopo, lacunas e clareza com critérios definidos antes. O plano não apresenta resultados, pontuação ou vencedora.

Descrição da figura

O diagrama começa com uma ficha comum: revisão de texto, sem diagramação e com prazo não informado. À esquerda estão três casos propostos: C1 pede a descrição do escopo; C2 pergunta o prazo; C3 pede uma inclusão contrária à ficha. Um conector se divide para os prompts A, de orientação breve, e B, com critérios explícitos. Ambos devem receber cada um dos três casos com a mesma ficha. A nota inferior informa que o teste ainda será executado e que a revisão observará escopo, lacunas e clareza. As setas indicam o plano de aplicação dos casos, não um resultado causal. Casos e instruções são fictícios, sem experimento, respostas observadas, pontuação, vencedor ou aprovação operacional.

No plano, cada caso deve passar pelas duas versões. Não compare a resposta de A em C1 com a resposta de B em C2: a diferença pode vir da pergunta. Preserve o texto integral da instrução, da ficha e da entrada para conseguir reconstruir a condição examinada.

Mantenha as condições da comparação identificadas

Registre ferramenta, modelo informado, data, materiais disponíveis e configurações acessíveis. Se o ambiente não mostrar algum detalhe, marque a limitação. Ao comparar a mudança de instrução, mantenha os demais elementos equivalentes tanto quanto puder, inclusive o histórico que a resposta recebe.

Uma conversa já corrigida por várias mensagens não oferece o mesmo contexto de uma interação que recebe apenas a ficha. Defina um procedimento para cada execução e preserve esse contexto no registro apropriado. Use casos fictícios quando bastarem para a revisão, sem inserir cadastros ou materiais confidenciais desnecessários.

Guarde todas as saídas previstas no procedimento. Se decidir fazer novas tentativas, identifique-as e aplique uma regra de registro às versões. Selecionar apenas a melhor resposta de uma delas e a primeira resposta da outra cria uma comparação difícil de interpretar.

Avalie o conteúdo antes de escolher a versão

Para cada resposta efetivamente obtida, confira o escopo, o tratamento de lacunas e a clareza. Em C1, procure as entregas previstas e a ausência de diagramação como item incluído. Em C2, verifique se houve prazo inventado. Em C3, observe se a divergência foi identificada, em vez de substituir a ficha pela solicitação contraditória.

Uma frase de apoio também precisa ser conferida. Pedir que a IA mostre a referência não prova que o trecho existe nem que sustenta a resposta. Compare com a ficha original e registre a divergência quando necessário. Quando a avaliação usar outro modelo, mantenha revisão humana apropriada para os critérios materiais.

Este artigo não apresenta saídas obtidas nem uma taxa de acerto. As duas versões não foram executadas como experimento, portanto não há vencedora, ganho de qualidade ou redução de retrabalho demonstrados. O material entregue é um plano de teste e seus critérios, pronto para ser adaptado ao ambiente autorizado da equipe.

Revise e repita sem esconder os limites

Se aparecer um erro, investigue sua origem. A ficha pode estar incompleta, a instrução pode deixar uma regra ambígua ou o procedimento pode ter fornecido contextos diferentes. Registre o problema antes de alterar várias condições ao mesmo tempo. Se revisar a referência ou o critério, identifique a nova versão para não tratar avaliações distintas como equivalentes.

Depois de ajustar o prompt, confira também casos novos que não serviram para escrever a correção. Um conjunto pequeno ajuda a localizar falhas conhecidas, mas não aprova automaticamente toda a rotina. Amplie a avaliação conforme a variedade das entradas, o uso previsto e as consequências de uma resposta incorreta.

Qualidade do teste e custo da operação também são perguntas diferentes. Para acompanhar esforço de preparação, revisão e correção, veja como calcular custo por entrega aceita com IA. Uma instrução revisada não demonstra sozinha economia de tempo ou de caixa.

Tarefa e uso pretendido:
Referência aprovada e versão:
Casos, entradas e critérios esperados:
Prompt A e Prompt B completos:
Mudança que a comparação investiga:
Ferramenta, modelo informado, data e configurações acessíveis:
Contexto e materiais fornecidos em cada execução:
Procedimento e regra para novas tentativas:
Saída integral por caso, versão e tentativa:
Critério atendido, falha ou pendência e evidência:
Revisor e divergências de avaliação:
Correção proposta e nova versão:
Casos novos e situações ainda não cobertas:
Decisão de uso e limites da conclusão:

Perguntas frequentes sobre teste de prompt

Uma resposta bem escrita prova que o prompt melhorou?

Não. Confira informações, escopo, lacunas e critérios da tarefa. Fluidez é um aspecto da revisão e não compensa uma condição inventada.

Por que usar os mesmos casos nas duas versões?

Isso permite examinar as respostas às mesmas entradas e referências. Se cada versão receber uma pergunta diferente, a comparação mistura a mudança de prompt com a mudança de caso.

A versão B deste artigo foi melhor que a A?

Não há essa conclusão. O artigo oferece duas instruções e critérios fictícios, sem executar um experimento nem apresentar respostas, pontuação ou vencedora.

Três casos são suficientes para aprovar qualquer uso?

Não. A quantidade serve ao exercício didático. A avaliação real precisa considerar variedade de entradas, procedimento, consequências dos erros e situações ainda não examinadas.

Se sua equipe precisa organizar instruções, referências e revisão, converse conosco sobre o uso de IA na produção de conteúdo. Podemos ajudar a definir critérios e preparar a rotina de conferência. Execução de testes, implantação e acompanhamento devem ter escopos próprios.