Le joueur d'élite

Si vous avez trouvé PlainReckonerBot dans votre journal d'accès, cette page est ce que c'est. Elle est gérée par ce site. Elle récupère trois fichiers publics, une fois par jour, et rien d'autre.

Ce qu'il demande

• /robots.txt — le fichier qui indique quels visiteurs automatisés peuvent lire quelles parties de votre site. Nous l'avons lu pour savoir si nous pouvons regarder votre page d'accueil du tout.
• /ads.txt — le fichier nommant les entreprises autorisées à vendre des espaces publicitaires sur votre site
• Votre page d'accueil, seulement si votre robots.txt l'autorise

C'est la liste complète. Il ne suit pas les liens, demande des images, des scripts ou des feuilles de style, cherche quoi que ce soit derrière une connexion, ou visitez n'importe quelle page autre que votre racine.

Combien de fois et avec douceur

• Une fois par jour au maximum, et généralement moins.
• Une demande à la fois, avec une pause entre chacun. Jamais en parallèle.
• Si on ne vous rejoint pas quatre fois de suite, on arrête de demander.
• Si votre robots.txt définit un Crawl-delaySi elle met une plus de trente secondes, nous sautons votre site pour la journée plutôt que de prétendre que le numéro était pour quelqu'un d'autre.
• Si votre serveur répond avec le code qui signifie "trop de requêtes" — 429 — nous reculons. Google indique aux propriétaires de site d'utiliser quand ils veulent qu'un rampeur ralentisse, donc nous le traitons comme l'instruction qu'il est plutôt que comme une erreur de pousser le passé.
• Si votre robots.txt ne peut pas être lu du tout — vos erreurs de serveur, temps ou refuser la connexion — nous ne recevons rien d'autre de vous ce jour-là. Le standard qui régit ces fichiers, RFC 9309, dit au §2.3.1.4 qu'un rampant dans cette position DOIVENT Supposons qu'il ne soit pas permis de récupérer quoi que ce soit, et un serveur ayant une mauvaise minute n'est pas autorisé.

Ce dernier est la règle que la plupart des rampeurs sautent tranquillement, parce que sauter il est invisible et ne leur coûte rien. Nous publions des conclusions sur la façon dont les fichiers d'autres personnes sont configurés; étant occasionnel au sujet d'une exigence dans le document que nous citons ne survivrait pas à la première personne qui a vérifié.

Pourquoi

Ces fichiers changent sans en informer leur propriétaire. Une mise à jour plugin réécrit un robots.txt et bloque le rampeur qui vous envoyait des lecteurs. ads.txt Un réseau se restructure et l'entrée de votre vendeur disparaît. Rien de cela n'apparaît dans Search Console, dans votre analyse ou dans le tableau de bord de votre réseau publicitaire.

En regardant les dossiers publics au jour le jour, on dit aux éditeurs ce qui a changé, et comment on mesure ce qui arrive à ce marché dans son ensemble. Tout ce que nous trouvons est publié gratuitement, avec sa méthode et sa date.

Ce qu'on garde

Votre robots.txt et ads.txt sont conservés comme ils ont été signifiés, parce que dans ces deux cas, le dossier est la conclusion — une revendication sur ce que votre ads.txt a dit n'est vérifiable que si nous avons toujours ce qu'il a dit.

Votre page d'accueil n'est pas conservée. Elle est récupérée, lue pour une chose — quel réseau publicitaire est en cours d'exécution — et jetée. Ce qui est stocké est cette réponse et la poignée de noms d'hôte qui l'a produite, qui est d'environ une centaine d'octets au lieu de deux cents kilooctets.

Rien sur vos lecteurs est stocké, parce que rien sur vos lecteurs n'est jamais récupéré. Il n'y a pas de connexion, pas de formulaire, pas de page sous la racine.

Comment l'arrêter

Deux façons, et l'une ou l'autre suffit.

Bloquez-le dans votre robots.txt. Nous résolvons votre dossier avant de demander votre page d'accueil, et nous l'honorons :

User-agent: PlainReckonerBot
Disallow: /

Cela nous empêche de lire vos pages. robots.txt et ads.txt, parce que les deux existent spécifiquement pour être lus par les clients automatisés — un ads.txt Si vous préférez que nous ne les lisions pas non plus, utilisez la deuxième voie.

Envoyez-nous un e-mail et nous vous retirerons entièrement. contact@plainreckoner.com — dire quel domaine, et c'est tout ce dont nous avons besoin; c'est une suppression manuelle que rien d'automatique ne peut annuler, et nous ne vous demandons pas de le justifier.

D'où vient la liste

Les réseaux publicitaires publient chacun un fichier, sellers.json, nommant chaque éditeur pour lequel ils sont autorisés à vendre . Ces fichiers sont publics , et les réseaux sont tenus de les publier . Notre liste de domaines est construit à partir de ces fichiers , ce qui signifie que chaque site que nous regardons a déjà été publié dans le cadre de ce marché par son propre réseau publicitaire .

A propos de ce site