Procurar o que você está medindo irá fabricar o seu resultado
Por Plain Reckoner · 474 palavras · sobre 2 min · Atualizado
Se você construir sua lista de negócios procurando por "X taxas mensais", você as escolheu Porque eles publicam taxas, e sua resposta está quase certa antes de começar. Desenhando a mesma amostra do OpenStreetMap - um mapa que não sabe nada sobre preços - deu 66.7%.
- Como foi medida
- Construímos a lista a partir do OpenStreetMap, filtrado apenas no negócio ter um site em tudo, em seguida, buscou cada negócio'site próprio diretamente. Nós nunca usamos um site de comparação ou um diretório.
- Última verificação
Ouve isto. Reproduzindo ler a partir desta página, nada adicionado
Observar o gráfico 28· narrado · as mesmas figuras que acima
Precisávamos de saber qual é a parte de uma pequena empresa que publica os seus preços online. O método óbvio é procurar os preços e ver o que volta.
Esse método não pode produzir uma resposta. Pesquisando "Arizona RV parque taxas mensais" retorna parques porque A lista que você está medindo foi escolhida pela mesma coisa que você está tentando medir, e a resposta vai sair perto 100% Seja qual for a verdade.
A lista de coisas de que você tira sua amostra tem um nome — é chamada de quadro de amostragem — e é assim que, na maioria das vezes, corre mal.
Desenhar uma lista que não possa saber a resposta
Em vez disso, usamos o OpenStreetMap, o mapa público que qualquer um pode editar. Pedimos-lhe acampamentos que tivessem um site gravado, através de três retângulos do mapa — em termos próprios do mapa, tourism=caravan_site que transporta uma website Tag, sobre três caixas delimitadoras. O mapa não sabe nada sobre os preços, que é exatamente a propriedade que faz dela uma lista justa para tirar — estar nela depende de alguém ter mapeado o negócio, não do que o negócio publica.
Em seguida, o próprio site de cada negócio foi obtido diretamente.
Resultado: 28 de 42 Marcado, 66.7%. Contando cada site que não conseguimos alcançar como um fracasso ainda dá 54.9%. Ele esclarece metade de qualquer forma, e é isso que o torna utilizável – o veredicto não depende de como você trata aqueles que nos bloquearam.
O número que importava era o segundo.
Das empresas de edição qualquer preço, 96.6% publicado o mensalDos quatorze não publicam nenhum preço mensal, treze não publicaram absolutamente nada.
Essa é uma descoberta diferente da manchete, e uma mais útil: não há um grupo significativo que publique alguns preços e esconda este. As empresas ou postam uma lista de preços ou não.
Onde mais isto morde?
Qualquer questão do formulário "que parte de X fazer Y" é exposto, e a falha não aparece no resultado. Parece com dados. Tem um tamanho de amostra e uma porcentagem e uma margem de erro, e não significa nada.
O sinal é simples: Pergunta-me o que decidiu se alguma coisa entrou na tua amostra. Se a resposta envolve o que você está medindo, comece de novo.
Uma limitação honesta. Mais tarde, encontramos uma medida maior da mesma questão por uma rota diferente — listas de diretórios de uma associação comercial — dando 42.8% de 278 Mede algo ligeiramente diferente, uma vez que essas listas são preenchidas pelas próprias empresas em vez de lerem os seus sites, por isso não derruba os nossos. 54.9%, e a leitura honesta é que 66.7% é o fim optimista de uma 43-67% banda.
Se um número aqui parecer errado, o que é que se passa? diga-nos e vamos verificá-lo com a fonte.