Si votre page d'atterrissage a peu de trafic, commencez par une question que les gens peuvent répondre à travers une vraie tâche. Un lecteur approprié peut-il expliquer l'offre? Peut-il trouver l'information dont il a besoin? Peut-il compléter la prochaine étape? Vous n'avez pas besoin de déclarer un gagnant A/B pour enquêter sur ces problèmes.
Une expérience A/B pose une autre question : comment les versions assignées se comparent-elles sur un résultat défini selon un modèle approprié ? Quelques actions achevées peuvent produire un pourcentage important de différence sans fournir suffisamment de preuves pour une décision confiante.
Ce guide vous aide à choisir entre des vérifications de message, des sessions d'utilisation et une expérience de conversion. Plan de test Pour enregistrer la question et les limites. L'objectif est une prochaine enquête utile, pas un score vert qui prétend que votre page d'accueil est prouvé à vendre.
Commencez par l'incertitude, pas le logiciel de test
Un propriétaire d'entreprise disant que la page ne fonctionne pas peut signifier plusieurs choses. L'offre peut être floue, le public peut être faux, le formulaire peut échouer ou le service peut tout simplement être inapproprié pour les visiteurs arrivant. Ce sont des problèmes différents.
Écrivez une incertitude en mots simples. Par exemple: -Nous ne savons pas si les designers freelance comprennent qu'il s'agit d'un service de comptabilité mensuel. -Une autre question est: -Nous ne savons pas si les visiteurs mobiles peuvent soumettre l'enquête. -Nous ne répondons pas non plus simplement en comparant les taux de clic de deux boutons.
Un bon premier test isole une décision sur laquelle l'équipe peut agir. Il n'a pas besoin de résoudre l'ensemble du modèle d'affaires. Enregistrer les preuves aideraient à choisir une prochaine étape, puis sélectionner la méthode qui peut réellement produire.
Si la tâche sous-jacente reste floue, commencez par Entretiens de découverte de clients avant de montrer un avant-projet. Demander aux gens de juger copie pour un problème qu'ils n'ont jamais rencontré peut générer des opinions sans résoudre votre incertitude.
Distinction de trois tâches d'essai
| Question | Méthode de départ appropriée | Ce que le résultat peut décrire |
|---|---|---|
| Que comprennent les lecteurs pertinents? | Un message ou un bref contrôle d'exposition | Réponses à l'ébauche testée dans les conditions indiquées |
| Quelqu'un peut-il accomplir une tâche réaliste? | Une séance de convivialité observée | Comportement des tâches, obstacles et attentes |
| Une version assignée modifie-t-elle un résultat défini? | Une expérience bien conçue | Comparaison avec les limites d'incertitude et de conception |
Ces méthodes peuvent se soutenir mutuellement. Un problème de compréhension peut éclairer une révision qui entre plus tard dans une expérience de conversion. Une différence de conversion peut motiver la recherche sur les raisons pour lesquelles les utilisateurs se sont comportés différemment.
Une réponse du participant n'est pas un achat. Une tâche accomplie dans une séance facilitée n'est pas un taux de conversion de population. La note estimée d'une plateforme n'est pas un résultat client observé de façon indépendante.
Savoir ce qu'un test A/B exige réellement
Google Définition des essais A/B décrit l'attribution aléatoire à des variantes de pages simultanées et l'évaluation par rapport à un objectif spécifique. Ceci est différent de montrer la version A cette semaine et la version B la semaine prochaine sans tenir compte d'autres changements.
La randomisation simultanée aide à rendre les groupes comparables en moyenne dans le cadre de la conception. Elle ne répare pas la collection d'événements cassés, une règle d'admissibilité incorrecte ou une page qui envoie accidentellement des visiteurs de retour entre des variantes incompatibles.
Google indique également que l'exécution de ces expériences avec Analytics nécessite un outil intégré d'expérimentation tiers. Un rapport analytique ordinaire n'est pas automatiquement un système d'assignation. Un espace de travail local de comparaison n'est pas non plus un espace de travail à moins qu'il ne fournisse et valide réellement ces capacités.
Utilisez la documentation du fournisseur pour vérifier le comportement du produit actuel. N'achetez pas un outil simplement parce que sa page de vente contient la phrase A/B testing. Demandez si l'affectation requise, la collecte des résultats, les limites et les rapports correspondent à votre tâche réelle.
Corriger les échecs clairs avant de les traiter comme un concours
Une page promettant un exemple gratuit mais ouvrant une étape de paiement non divulguée a une inadéquation qui vaut la peine d'être abordée. Vous n'avez pas besoin de préserver une expérience interrompue jusqu'à ce qu'elle perde une expérience.
Vérifiez l'échec avec un test approprié et enregistrez un enregistrement. Expliquez ce qui a été observé, où il s'est produit et comment la réparation a été contrôlée.
Vérifiez l'entrée mobile, l'accès au clavier, la récupération d'erreurs et le libellé de la confirmation. Un message de navigateur à l'apparence réussie doit correspondre à une demande reçue réelle lorsque la réception est le résultat promis.
Après la correction, garder la revendication limitée: le défaut reproduit ne se produit plus dans les conditions testées. Que le changement améliore les demandes de renseignements ou les ventes est une question distincte nécessitant des preuves commerciales.
Utiliser une vérification de message pour un malentendu spécifique
Montrez le brouillon réel aux personnes qui ont vraisemblablement besoin de l'offre. Demandez ce qui est offert, qui il sert et ce qu'ils s'attendent à se passer ensuite.
Un bref exercice d'exposition peut examiner les premières impressions ou le rappel. La documentation d'essai de Lyssna sur cinq secondes Cinq secondes sont une condition de recherche configurable, et non la preuve que l'attention de chaque personne expire à ce moment-là.
Choisissez une durée et un format appropriés à la question et aux besoins d'accès du participant. Si la tâche nécessite une comparaison minutieuse d'un service professionnel, un exercice de lecture plus long peut être plus utile. Ne forcez pas une méthode visuelle chronométrée inappropriée simplement parce qu'elle produit un score rangé.
Les Retours des lecteurs aide à enregistrer les réponses des lecteurs que vous recrutez vous-même. Il ne fournit pas un panel représentatif. guide de retour de lecteurs fournit le protocole détaillé; la décision ici est quand cette méthode répond à la bonne question.
Utilisez une session d'utilisation pour le voyage réel
Demandez à une personne appropriée d'essayer une tâche réaliste, comme vérifier la couverture du service et trouver comment demander de l'aide. Évitez de leur dire le chemin de navigation exact si trouver ce chemin fait partie de la question.
Les GOV.UK - Guide d'utilisation modéré La preuve utile comprend l'hésitation, les mauvais virages, les renseignements non disponibles et les attentes de la personne à chaque étape.
Une personne qui peut trouver le prix et qui décide que le service est inapproprié n'a pas nécessairement échoué à la tâche. Une personne qui aime le design mais ne peut pas trouver une route de contact supportée a fourni une conclusion différente.
Enregistrez le contexte du participant, la version préliminaire, la tâche et le résultat observé. Une poignée de séances peuvent révéler un problème concret sans estimer la fréquence qu'il se produit chez tous les visiteurs.
Travaillez à travers un exemple de petit nombre sans inventer un gagnant
Envisagez les calculs de démonstration choisis, et non une expérience menée par Plain Reckoner. Version A enregistre deux actions terminées de 100 visites admissibles. La version B enregistre trois de 100. Les taux observés sont de 2% et 3%.
La différence absolue est d'un point de pourcentage. La différence relative par rapport à A est de 50%, parce qu'un divisé par deux est de la moitié. Un titre disant amélioration de 50% peut donc décrire seulement une action supplémentaire enregistrée dans cet exemple.
Cette arithmétique n'établit pas que B continuera à fonctionner mieux. La comparaison nécessite encore une conception valide, suffisamment de preuves pour la question et une analyse d'incertitude appropriée. Un tableur peut calculer une différence sans rendre la conclusion fiable.
N'énumérez pas l'exemple statistiquement significatif ou ne l'utilisez pas pour prescrire une taille d'échantillon universelle. La quantité de preuves nécessaires dépend du niveau de référence, de l'effet significatif, de la conception et de la norme de décision.
Définir le résultat avant de lire le résultat
Un clic-bouton de contact, un reçu de message réussi, une demande de renseignements et une vente qualifiées sont des étapes différentes. Choisissez le résultat principal qui reflète la question, puis conservez des mesures intermédiaires utiles pour le diagnostic.
Supposons qu'un exemple choisi donne A dix demandes appropriées et B douze, mais B génère également beaucoup plus de demandes non pertinentes et beaucoup plus de travail de gestion. Le nombre supplémentaire n'établit pas automatiquement un meilleur résultat opérationnel.
Ne changez pas la cible après avoir vu les résultats simplement parce qu'une autre métrique favorise la version que l'équipe aime déjà. Enregistrer tout changement légitime de question et le traiter comme une nouvelle décision plutôt que de la présenter comme le succès du test original.
Pour un outil gratuit, un résultat utile complété peut être plus pertinent qu'une capture de courriel. Pour un service, un reçu réussi peut être le résultat immédiat tandis que la valeur commerciale ultérieure a besoin d'une fenêtre plus longue.
Éviter le piège avant et après
Publier une réécriture lundi et voir plus de demandes mardi est une observation, pas en soi une expérience contrôlée. Les sources de trafic, les modèles de jours de semaine, la demande, les offres et les changements opérationnels peuvent également différer.
Un enregistrement avant et après peut toujours être utile lorsque la randomisation n'est pas disponible. Sauvegardez le niveau de référence, les dates, les versions de page et les changements simultanés. Décrivez le résultat comme observationnel et gardez visible d'autres explications plausibles.
N'appelez pas chaque chute un message raté. Inspectez le parcours réel et la portée des données avant de choisir une histoire causale.
Notre Guide en deux points explique une autre limitation: deux valeurs ne révèlent pas le chemin entre elles. Les observations intermédiaires et les changements de mesure peuvent avoir autant d'importance que la différence de pourcentage finale.
Ne confondez pas le routage adaptatif avec une expérience fixe
Débloquer la documentation actuelle des essais; Ces descriptions identifient différents comportements de produits; elles ne sont pas une preuve indépendante de quelle méthode est la meilleure pour votre entreprise.
Si l'attribution change en fonction des caractéristiques des visiteurs ou des résultats observés, l'interprétation doit tenir compte de cette méthode. N'analysez pas les totaux des variantes de chaque plateforme comme si elles provenaient du même modèle randomisé fixe.
Vérifiez quel mode est actif, ce qui est optimisé et comment les résultats sont rapportés. Un label de plateforme comme champion ne doit pas remplacer un examen de la définition de résultat et des preuves. Les interfaces fournisseurs peuvent faire un résultat semblent décisives sans répondre à chaque question d'affaires.
Les outils d'ébauche et de lecture de Plain Reckoner aident à préparer et à enregistrer une enquête. Ils ne déploient pas automatiquement des variantes randomisées ou ne certifient pas l'inférence du système adaptatif d'une autre plateforme.
Décidez quand le faible trafic change l'étape suivante
La faible circulation n'est pas un numéro mensuel universel. La question utile est de savoir si les visiteurs pertinents et les résultats complétés peuvent soutenir la comparaison prévue dans une période significative.
Si une expérience appropriée prend trop de temps, changez la question de recherche plutôt que de baisser la norme de preuve sans le dire. Étudier la compréhension, l'adéquation ou un obstacle reproductible à la tâche d'abord. Ces méthodes peuvent identifier des améliorations qui méritent une expérience ultérieure.
Ne prétendez pas que le travail qualitatif prouve un gagnant de la conversion. Sa valeur est d'expliquer un problème spécifique et de générer un changement plus crédible. Il peut également révéler que le changement proposé aborde la mauvaise question.
Utiliser la Plan de test Un résultat honnête et non concluant est préférable à un badge gagnant vert produit à partir de quelques événements.
Transformer une idée de livre en un changement testable
Un cadre d'écriture axé sur le client peut suggérer que la page devrait expliquer la tâche du visiteur, l'aide de l'entreprise et une action suivante claire. Ces idées peuvent guider l'ébauche, mais ils ne fournissent pas les réponses réelles des lecteurs ou prouvent un résultat.
Pour un exemple original de service de réparation, remplacer une introduction d'entreprise non claire par un service concret et une déclaration de couverture. Avant de revendiquer un effet commercial, demandez aux lecteurs appropriés ce qu'ils croient être offerts et observez s'ils peuvent demander l'aide pertinente.
Utiliser la Créateur d’offre et Plan de page d’accueil de maintenir la cohérence de l'explication. éditeur de pageUne mise à jour visuellement polie ne devrait pas hériter de preuves recueillies sur un message antérieur.
Pour plus de lecture facultative, Donald Miller's <a href="https://link.amazon/B08rUqegA" rel="parrained noopener nodefer">Bâtir une histoireBrand 2.0</a> discute de messagerie centrée sur le client. Il s'agit d'un lien d'affiliation: nous pouvons gagner une commission si vous achetez. Comme un Amazon Associate Je gagne d'achats admissibles. Plain Reckoner est indépendant et n'est pas soutenu par l'auteur. Le livre n'est pas nécessaire pour utiliser les outils ou ce protocole.
Appliquer la même règle à une page SaaS ou de stockage
Une entreprise SaaS existante peut vouloir plus d'essais, plus de clients payants ou un nouveau public pour le même produit. Commencez par nommer lequel de ces travaux la page devrait faire. Une augmentation des inscriptions gratuites ne répond pas si plus de personnes sont restées, payées ou besoin de soutien.
Si vous testez une nouvelle utilisation pour un produit existant, gardez la nouvelle page et l'ancienne offre séparée dans vos notes. Demandez aux personnes du nouveau public de décrire le problème et d'essayer la tâche prévue. La rétroaction des clients actuels peut être utile, mais elle ne représente pas automatiquement le nouveau groupe que vous souhaitez atteindre.
Pour un magasin, une action add-to-cart est une étape vers un achat, et non une commande rentable terminée. Gardez les achats, les remboursements et les frais de vente terminés séparés lorsque vous vérifiez plus tard le résultat de l'entreprise.
Ce sont des objectifs différents, mais la même habitude aide : écrire la question avant de changer la page. Enregistrer la version que les gens ont vu. Enregistrer ce qui s'est passé sans mettre à jour un clic dans une vente. plan d'affaires gratuit vous aide à choisir une boîte à outils de démarrage tout en gardant ces inconnus visibles.
Écrire un compte rendu de décision avant le prochain tour
Conservez un bref dossier : question, audience, version provisoire, méthode, résultat principal, recrutement ou affectation, période d'observation, limites connues et décision suivante. Ajoutez ce qui ferait que l'équipe arrêterait ou chercherait une meilleure conception avant de recueillir plus de données.
N'inspectez pas à plusieurs reprises une expérience conventionnelle et arrêtez le moment où la version préférée apparaît avant, à moins que la méthode ne confirme explicitement cette règle de décision.
La sécurité ou l'exactitude séparée s'arrête d'une déclaration de succès. Une forme cassée doit être arrêtée ou réparée même si aucune conclusion statistique n'existe.
Le résultat utile des tests de page d'atterrissage à faible trafic est souvent une étape suivante plus étroite et mieux soutenue. Trouvez ce que les lecteurs comprennent, supprimez les obstacles concrets et sauvegardez les preuves. Exécutez une expérience de conversion lorsque la question et les conditions la soutiennent, pas simplement parce que le constructeur de page offre un bouton de test fractionné.