Robô simplesReckonerBot
Se você encontrou PlainReckonerBot no seu log de acesso, esta página é o que é. É executado por este site. Ele busca três arquivos públicos, uma vez por dia, e nada mais.
O que ela pede
/robots.txt— o ficheiro que indica quais os visitantes automatizados que podem ler as partes do seu site. Lemo-lo para saber se podemos olhar para a sua página inicial./ads.txt— o ficheiro que nomeia as empresas autorizadas a vender espaço publicitário no seu site- A sua página inicial, apenas se a sua robots.txt permite-o
Essa é a lista completa. Ela não segue links, solicita imagens, scripts ou planilhas de estilo, procura por qualquer coisa por trás de um login, ou visita qualquer outra página que não a sua raiz.
Com que frequência e quão suavemente
- Uma vez por dia, no máximo, e geralmente menos.
- Um pedido de cada vez, com uma pausa entre cada um. Nunca em paralelo.
- Se falharmos em falar consigo quatro vezes seguidas, paramos de perguntar.
-
Se a sua
robots.txtdefine aCrawl-delay, esperamos tanto tempo. Se ele define um mais de 30 segundos, pulamos seu site para o dia em vez de fingir que o número era para outra pessoa. -
Se o seu servidor responde com o código que significa "muitos pedidos" —
429— que nos afastemos, é a resposta Google diz aos proprietários do site para usar quando eles querem um rastreador para desacelerar, então nós tratamos como a instrução que é em vez de como um erro para empurrar passado. -
Se a sua
robots.txtnão pode ser lido de forma alguma — os erros do seu servidor, o tempo de saída ou a recusa da ligação — não lhe foi obtida mais nada naquele dia. O padrão que governa estes ficheiros, RFC 9309, diz em §2.3.1.4 que um rastejante nessa posição Deve Assumir que não é permitido obter nada, e um servidor que tenha um minuto ruim não é permissão.
Essa última é a regra que a maioria dos rastreadores ignoram silenciosamente, porque pular é invisível e não custa nada para eles. Publicamos descobertas sobre como os arquivos de outras pessoas são configurados; sendo casual sobre uma exigência no documento que citamos não sobreviveria à primeira pessoa que verificasse.
Porquê?
Estes ficheiros mudam sem dizer ao seu proprietário. Uma actualização de 'plugin' reescreve uma robots.txt e bloqueia o rastreador que vos enviava leitores. ads.txt quebras de linha e licitações param silenciosamente. Uma rede reestrutura e sua entrada de vendedor desaparece. Nada disso aparece no Console de Pesquisa, em suas análises, ou no painel da sua rede de anúncios.
Observar os arquivos públicos dia a dia é como dizemos aos editores o que mudou, e como medimos o que está acontecendo com esse mercado como um todo. Tudo o que encontramos é publicado gratuitamente, com seu método e sua data.
O que guardamos
A sua robots.txt e ads.txt são mantidos como foram servidos, porque nestes dois casos o arquivo é a conclusão — uma reivindicação sobre o que o seu ads.txt Disse que só é controlável se ainda tivermos o que dizia.
Sua página inicial não é mantida. Ela é obtida, lida para uma coisa — qual rede de anúncios está rodando — e descartada. O que é armazenado é essa resposta e o punhado de nomes de máquinas que a produziram, que é cerca de cem bytes em vez de duzentos kilobytes. Temos uma pergunta para sua página inicial; manter a página inteira após responder seria coletar algo que não temos uso, e este site não faz isso.
Nada sobre os seus leitores é armazenado, porque nada sobre os seus leitores é obtido. Não existe login, nenhum formulário, nenhuma página abaixo da raiz.
Como pará-lo
Duas maneiras, e qualquer uma é suficiente.
Bloqueie-o no seu robots.txt. Resolvemos o seu ficheiro antes de pedir a sua página inicial, e nós honrá-lo:
User-agent: PlainReckonerBot
Disallow: /
Isso impede-nos de ler as suas páginas.
robots.txt e ads.txt, porque ambos existem especificamente para serem lidos por clientes automatizados — um ads.txt
Se preferes que não os leiamos, usa a segunda maneira.
Envie-nos um e-mail e vamos removê-lo completamente. contact@plainreckoner.com — dizer que domínio, e é tudo o que precisamos: é uma remoção manual que nada automatizado pode desfazer, e não lhe pedimos que o justifique.
De onde veio a lista
Redes de anúncios publicam um arquivo, sellers.json, nomeando todos os editores que eles são autorizados a vender para. Esses arquivos são públicos, e as redes são obrigadas a publicá-los. Nossa lista de domínios é construída a partir desses arquivos, o que significa que cada site que olhamos já foi publicado como parte deste mercado por sua própria rede de anúncios.