Se sua landing page tem pouco tráfego, comece com uma pergunta que as pessoas podem responder através de uma tarefa real. Um leitor adequado pode explicar a oferta? Será que eles podem encontrar as informações de que precisam? Eles podem completar o próximo passo? Você não precisa declarar um vencedor A/B para investigar esses problemas.
Uma experiência A/B faz uma pergunta diferente: como as versões atribuídas comparam um resultado definido sob um design adequado? Algumas ações completadas podem produzir uma grande diferença percentual sem fornecer evidências suficientes para uma decisão confiante.
Este guia ajuda você a escolher entre verificação de mensagens, sessões de usabilidade e uma experiência de conversão. Use o Planejador de testes para registrar a questão e limites. O objetivo é uma próxima investigação útil, não uma pontuação verde que afirma que sua página inicial está comprovada para vender.
Comece com a incerteza, não com o software de teste
Um proprietário de um negócio dizendo “a página não funciona” pode significar várias coisas. A oferta pode não ser clara, o público pode estar errado, o formulário pode falhar ou o serviço pode ser simplesmente inadequado para os visitantes que chegam. Estes são problemas diferentes.
Escreva uma incerteza em palavras simples. Por exemplo: “Não sabemos se designers freelancers entendem que este é um serviço de contabilidade mensal.” Outra pergunta é: “Não sabemos se os visitantes móveis podem enviar o inquérito.” Nenhuma delas é respondida apenas comparando duas taxas de clique botão.
Um bom primeiro teste isola uma decisão em que a equipe pode agir. Não precisa resolver todo o modelo de negócio. Grave quais evidências ajudariam a escolher um próximo passo, em seguida, selecione o método que pode realmente produzi-lo.
Se a tarefa subjacente não estiver clara, comece com entrevista descoberta do cliente Pedir às pessoas que julguem copiar um problema que nunca enfrentaram pode gerar opiniões sem resolver sua incerteza.
Distinguir três trabalhos de teste
| Pergunta | Método de arranque adequado | O que o resultado pode descrever |
|---|---|---|
| O que os leitores relevantes entendem? | Uma mensagem ou verificação de exposição breve | Respostas ao projecto testado em condições determinadas |
| Alguém pode completar uma tarefa realista? | Uma sessão de usabilidade observada | Comportamento de tarefas, obstáculos e expectativas |
| Será que uma versão atribuída muda um resultado definido? | Uma experiência devidamente concebida | Comparação com a incerteza e os limites de concepção |
Um problema de compreensão pode informar uma revisão que mais tarde entra em uma experiência de conversão. Uma diferença de conversão pode motivar a pesquisa sobre por que os usuários se comportaram de forma diferente. Os métodos não se tornam intercambiáveis porque cada um é chamado teste.
Mantenha os rótulos de evidência no relatório. Uma resposta participante não é uma compra. Uma tarefa completa em uma sessão facilitada não é uma taxa de conversão populacional. A pontuação estimada de uma plataforma não é um resultado do cliente observado independentemente.
Saiba o que um teste A/B realmente requer
Google's Definição do ensaio A/B descreve a atribuição aleatória a variantes de páginas simultâneas e avaliação contra um objetivo específico. Isto é diferente de mostrar a versão A esta semana e a versão B na próxima semana sem contabilizar outras alterações.
A randomização simultânea ajuda a tornar os grupos comparáveis, em média, sob o desenho. Ele não repara a colecção de eventos quebrados, uma regra de elegibilidade incorreta ou uma página que acidentalmente envia visitantes de retorno entre variantes inconsistentes. A implementação faz parte do experimento.
O Google também afirma que executar esses experimentos com o Analytics requer uma ferramenta de experiência integrada de terceiros. Um relatório de análise comum não é automaticamente um sistema de atribuição. Um espaço de trabalho local de comparação de rascunhos não é um, a menos que realmente forneça e valide essas capacidades.
Use a documentação do provedor para verificar o comportamento do produto atual. Não compre uma ferramenta apenas porque sua página de vendas contém a frase teste A/B. Pergunte se a atribuição necessária, coleta de resultados, limites e relatórios se encaixam em sua tarefa real.
Corrigir falhas claras antes de tratá-las como um concurso
Um formulário de contato que perde a entrada ou nunca atinge a caixa de entrada precisa de investigação e reparo. Uma página prometendo um exemplo livre, mas abrindo um passo de pagamento não revelado tem um descompasso que vale a pena endereçar. Você não precisa preservar uma experiência quebrada até que ele perca uma experiência.
Verifique a falha com um teste apropriado e salve um registro. Explique o que foi observado, onde ocorreu e como o reparo foi verificado. Isso é uma engenharia legítima ou melhoria de usabilidade sem reivindicar um elevador de conversão medido.
Verificar entrada móvel, acesso ao teclado, recuperação de erros e confirmação de texto. Uma mensagem de navegador com aparência de sucesso deve corresponder a um pedido recebido quando o recebimento é o resultado prometido. Um evento de início de formulário não prova que a transferência aconteceu.
Após a correção, mantenha a reivindicação limitada: o defeito reproduzido não ocorre mais nas condições testadas. Se a mudança melhora as perguntas ou vendas é uma questão separada que requer evidência de negócios.
Use uma verificação de mensagem para um mal-entendido específico
Mostre o rascunho real para as pessoas que precisam plausivelmente da oferta. Pergunte o que é oferecido, quem ele serve e o que eles esperam que aconteça em seguida. Grave suas palavras antes de explicar o seu significado pretendido.
Um exercício de exposição breve pode investigar as primeiras impressões ou lembrar. A documentação de teste de cinco segundos de Lyssna cinco segundos é uma condição de pesquisa configurável, não provando que a atenção de cada pessoa expira nesse momento.
Escolha uma duração e formato adequados às necessidades de acesso do participante e da pergunta. Se a tarefa exigir uma comparação cuidadosa de um serviço profissional, um exercício de leitura mais longo pode ser mais útil. Não force um método visual inapropriado apenas porque produz uma pontuação arrumada.
A Feedback de leitores ajuda a gravar respostas dos leitores que você recrutar-se. Ele não fornece um painel representativo. guia leitor-feedback fornece o protocolo detalhado; a decisão aqui é quando esse método responde à pergunta certa.
Use uma sessão de usabilidade para a jornada real
Peça a uma pessoa adequada para tentar uma tarefa realista, como verificar a cobertura do serviço e descobrir como solicitar ajuda. Evite dizer-lhes o caminho exato de navegação se encontrar esse caminho é parte da questão.
A Guia de utilização moderada da GOV.UK A evidência útil inclui hesitação, erros, informações indisponíveis e o que a pessoa esperava em cada etapa.
Manter a capacidade separada da disposição. Alguém que possa encontrar o preço e decidir que o serviço não é adequado não falhou necessariamente na tarefa. Alguém que goste do design mas não consiga encontrar uma rota de contacto suportada forneceu uma descoberta diferente.
Grave o contexto participante, a versão de rascunho, a tarefa e o resultado observado. Um punhado de sessões pode revelar um problema concreto sem estimar quantas vezes ocorre em todos os visitantes. Não publique uma taxa de conclusão representativa de um grupo de conveniência.
Trabalhar através de um exemplo de pequena conta sem inventar um vencedor
Considere as contagens de demonstração escolhidas, não uma experiência realizada pelo Plain Reckoner. Versão A registra duas ações concluídas de 100 visitas elegíveis. Versão B registra três de 100. As taxas observadas são de 2% e 3%.
A diferença absoluta é de um ponto percentual. A diferença relativa em relação a A é de 50%, porque um dividido por dois é metade. Um título dizendo “melhoramento de 50%” pode, portanto, descrever apenas uma ação adicional gravada neste exemplo.
Essa aritmética não estabelece que B continuará a funcionar melhor. A comparação ainda precisa de um desenho válido, evidência suficiente para a questão e uma análise de incerteza adequada. Uma planilha pode calcular uma diferença sem tornar a conclusão confiável.
Não rotular o exemplo estatisticamente significativo ou usá-lo para prescrever um tamanho de amostra universal. A quantidade de evidência necessária depende da linha de base, efeito significativo, desenho e padrão de decisão. Esses insumos precisam de revisão explícita antes de lançar uma experiência de conversão séria.
Definir o resultado antes de ler o resultado
Um clique no botão de contato, recebimento de mensagem bem-sucedido, consulta qualificada e venda são diferentes etapas. Escolha o resultado primário que reflete a questão, em seguida, preservar medidas intermediárias úteis para o diagnóstico.
Suponha que um exemplo escolhido dê A dez perguntas adequadas e B doze, mas B também gera muitos pedidos mais irrelevantes e muito mais trabalho de manuseio. A contagem extra não estabelece automaticamente um melhor resultado de negócios. Qualificação e definições de custos importam.
Não mude o alvo após ver resultados apenas porque outra métrica favorece a versão que a equipe já gosta. Grave qualquer mudança legítima de pergunta e tratá-la como uma nova decisão em vez de apresentá-la como o sucesso do teste original.
Para uma ferramenta gratuita, um resultado útil completo pode ser mais relevante do que uma captura por e-mail. Para um serviço, o recebimento bem-sucedido pode ser o resultado imediato, enquanto o valor de negócios posterior precisa de uma janela mais longa. Mantenha as unidades e períodos de tempo explícitos.
Evitar a armadilha antes e depois
Publicar uma reescrita na segunda-feira e ver mais pedidos na terça-feira é uma observação, não por si só uma experiência controlada. Fontes de tráfego, padrões de dia da semana, demanda, ofertas e mudanças operacionais também podem diferir.
Um registro antes e depois ainda pode ser útil quando a randomização não está disponível. Salve a linha de base, datas, versões da página e alterações concomitantes. Descreva o resultado como observacional e mantenha as explicações alternativas plausíveis visíveis.
Não transforme um aumento sazonal em prova de um efeito de cabeçalho. Não chame a cada queda uma mensagem falhada. Inspecione a jornada real e o escopo dos dados antes de escolher uma história causal.
Nossa guia de dois pontos explica outra limitação: dois valores não revelam o caminho entre eles. Observações intermediárias e mudanças de medição podem importar tanto quanto a diferença percentual final.
Não confunda roteamento adaptativo com uma experiência fixa
Unbounce's documentação de teste atual distingue seu modo A/B do Smart Traffic, que usa aprendizado de máquina para encaminhar visitantes. Essas descrições identificam diferentes comportamentos de produto; elas não são provas independentes de qual método é melhor para o seu negócio.
Se a alocação muda com base nas características do visitante ou nos resultados observados, a interpretação precisa ser responsável por esse método. Não analise os totais das variantes de cada plataforma como se viessem do mesmo delineamento aleatório fixo.
Verifique qual o modo ativo, o que está sendo otimizado e como os resultados são reportados. Uma etiqueta de plataforma como o campeão não deve substituir uma revisão da definição de resultado e evidência. As interfaces de fornecedores podem fazer um resultado parecer decisivo sem responder a todas as questões de negócios.
Plain Reckoner's draft and reader tools help prepare and record an investigation. They do not automatically deploy randomized variants or certify the inference from another platform's adaptive system. Keep those product boundaries visible.
Decida quando o tráfego baixo muda o próximo passo
O baixo tráfego não é um número mensal universal. A questão útil é se os visitantes relevantes e resultados concluídos podem apoiar a comparação pretendida dentro de um período significativo. Resultados raros e pequenas diferenças valiosas podem exigir mais evidência do que uma verificação rápida do painel sugere.
Se uma experiência adequada demorar muito tempo, mude a questão de pesquisa em vez de diminuir o padrão de evidência sem dizer isso. Investigue a compreensão, adequação ou um obstáculo de tarefa reprodutível primeiro. Estes métodos podem identificar melhorias que merecem uma experiência posterior.
Não afirme que o trabalho qualitativo prova um vencedor da conversão. Seu valor está explicando um problema específico e gerando uma mudança mais credível. Pode também revelar que a mudança proposta aborda o problema errado.
Utilizar o Planejador de testes para registrar por que o método foi escolhido e o que permanece desconhecido. Um resultado honesto inconclusivo é preferível a um emblema vencedor verde produzido a partir de alguns eventos.
Transforme uma ideia de livro em uma mudança testável
Um framework de escrita centrado no cliente pode sugerir que a página deve explicar a tarefa do visitante, a ajuda do negócio e uma ação próxima clara. Essas ideias podem orientar o rascunho, mas eles não fornecem respostas reais dos leitores ou provar um resultado.
Para um exemplo original de reparação-serviço, substitua uma introdução empresa-primeira pouco clara por um serviço concreto e declaração de cobertura. Antes de reivindicar um efeito comercial, pergunte aos leitores adequados o que eles acreditam que é oferecido e observe se eles podem solicitar a ajuda relevante.
Utilizar o Construtor de oferta e Planejador da página inicial para manter a explicação coerente. editor de página, então salve a versão que você realmente testar. Uma atualização visualmente polida não deve herdar evidências coletadas em uma mensagem anterior.
For optional further reading, Donald Miller's <a href="https://link.amazon/B08rUqegA" rel="sponsored noopener noreferrer">Building a StoryBrand 2.0</a> discusses customer-centered messaging. This is an affiliate link: we may earn a commission if you buy. As an Amazon Associate I earn from qualifying purchases. Plain Reckoner is independent and is not endorsed by the author. The book is not required to use the tools or this protocol.
Aplique a mesma regra em uma página SaaS ou armazenamento
Um negócio SaaS existente pode querer mais testes, mais clientes pagantes ou um novo público para o mesmo produto. Comece nomeando quais desses trabalhos a página deve fazer. Um aumento em inscrições livres não responde se mais pessoas ficaram, pagos ou precisaram de suporte.
Se você estiver testando um novo uso para um produto existente, mantenha a nova página e a antiga oferta separadas em suas notas. Peça às pessoas do novo público para descrever o problema e tentar a tarefa pretendida. O feedback dos clientes atuais pode ser útil, mas não representa automaticamente o novo grupo que você deseja alcançar.
Para uma loja, uma ação add-to-cart é um passo para uma compra, não uma ordem rentável concluída. Mantenha as compras completas, reembolsos e custos de venda separados quando você verificar mais tarde o resultado do negócio. As pessoas que chegam, o produto eo período de observação toda a matéria.
Estes são objetivos diferentes, mas o mesmo hábito ajuda: escreva a pergunta antes de mudar a página. Salve a versão que as pessoas viram. Grave o que aconteceu sem atualizar um clique em uma venda. Plano de negócios livre ajuda- o a escolher um kit de ferramentas inicial enquanto mantém essas incógnitas visíveis.
Escreva um registro de decisão antes da próxima rodada
Mantenha um pequeno registro: questão, público, versão de rascunho, método, resultado primário, recrutamento ou alocação, período de observação, limites conhecidos e próxima decisão. Adicione o que faria com que a equipe parasse ou buscasse um design melhor antes de coletar mais dados.
Não inspeccione repetidamente um experimento convencional e pare o momento em que a versão preferida aparece à frente, a menos que o método suporte explicitamente essa regra de decisão. Use uma análise e abordagem de parada apropriadamente revisada em vez de inventar uma de um gráfico ao vivo.
Separar a segurança ou a correção de uma declaração de sucesso. Um formulário quebrado deve ser parado ou reparado mesmo se não houver conclusão estatística. Terminar uma implementação prejudicial não é o mesmo que provar uma vitória alternativa comercialmente.
O resultado útil dos testes de landing-page de baixo tráfego é muitas vezes um passo seguinte mais estreito e mais bem suportado. Encontre o que os leitores entendem, remova obstáculos concretos e salve as evidências. Execute uma experiência de conversão quando a pergunta e as condições o suportam, não simplesmente porque o construtor de páginas oferece um botão de teste dividido.