Ensemble de données

Lequel AI les rampeurs 1,020 nom et bloc de petites maisons d'édition financées par la publicité robots.txt

Historique robots.txt politiques de l'UE 1,020 fichiers lisibles dans un échantillon tiré d'un 16,076-domaine publicité-cadre de réseau. Nommé jetons, résolu site-root blocs, legacy-name drapeaux et gabarit marqueurs sont des champs séparés. 244 d'entre eux ont nommé des rampeurs évalués: 216 bloqué au moins un à la racine et 28 - Non, pas du tout. 244, 167 Ces observations décrivent le contenu des dossiers publics, et non l'intention du propriétaire, la conformité réelle des rampeurs, les renvois perdus, la formation modèle ou les revenus de licence. 2026-09-02; les descriptions et les dénominateurs ont été clarifiés sur 2026-10-20.

• 16,076 domaines dans le cadre
• 1,200 domaines tracés
• 1,020 fichiers lisibles
• 9 AI les rampeurs résolus contre chacun

Couverture

2026-09-02

Dernière mise à jour

2026-10-20

Licence

CC BY 4.0

DOI

10.5281- Oui.22280370

Quelle rangée !

Un éditeur robots.txt fichier : qui AI Il est appelé, qu'il bloque en fait, qui le nom qu'il porte qu'aucun document de fournisseur, et dont le modèle a été écrit à partir.

Sujets

robots.txt, AI les rampeurs, GPTBot, ChatGPT-Usager, ClaudeBot, CCBot, Google-Extended, blocage des rampeurs, AI formation opt-out, éditeurs web, RFC 9309

Télécharger l'échantillon de données publiques 1,020 rangées 8 colonnes · CSV · pas de compte, pas d'email

Lisez le résultat de cette enquête. Les éditeurs bloquent la AI visiteur qui leur aurait envoyé un lecteur au moins dix fois plus souvent que celui qui ne les dépose que

Comment citer ceci

Utilisez-le commercialement, changez-le, faites-en usage. La seule condition est le crédit, et un lien le satisfait.

Ce que vous devez savoir sur ces données

• Il s'agit de petites entreprises de contenu financées par la publicité sur deux réseaux publicitaires, qui ne sont pas le web. Un éditeur sans réseau publicitaire n'est pas du tout dans le cadre, et les grands éditeurs que tous les autres chiffres publiés viennent de se comporter complètement différemment.
• Un fichier qui n'a pas pu être récupéré est un fait sur un pare-feu, pas une politique. 180 les domaines refusés sont laissés hors du dénominateur plutôt que comptés comme silencieux.
• Les catégories ne sont pas une partition et ne doivent pas être additionnées. Un fichier qui bloque un rampeur qui aurait cité aussi bloque au moins un rampeur, et porte souvent des noms que quelqu'un d'autre a écrit. Les ajouter donne un nombre plus grand que l'échantillon.
• Nous avons vérifié chaque nom par rapport à son prétendu opérateur. Documents anthropiques ClaudeBot, Claude-User et Claude-SearchBot, et ni anthropique-ai ni claude-web n'est parmi eux — mais aucun vendeur ne publie un avis de retraite, donc ce que nous pouvons montrer, c'est qu'un éditeur nomme quelque chose que l'opérateur ne liste pas, pas que rien ne lui répond.
• Un marqueur de fournisseur dit qu'une partie du fichier n'a pas été écrite par l'éditeur. AI les règles en particulier sont venues du vendeur — un bloc Yoast contient généralement non AI des règles.
• Les domaines sont omis du téléchargement. Le cadre, les semences et la méthode publiés permettent de redessiner l'échantillon; l'omission n'est pas une garantie contre la réidentification.

Comment elle a été mesurée

1,200 les domaines ont été tirés une fois de la 16,076 les deux réseaux publient sur eux-mêmes, classés par un hachage d'une graine publiée et le nom de domaine, afin que n'importe qui puisse redessiner le même échantillon. robots.txt sur une seule carte complète; 1,020 répondu et 180 refus ou ne pouvait pas être atteint, et ceux qui ne pouvaient pas être atteints sont exclus du dénominateur plutôt que comptés comme ne disant rien, qui aurait déplacé le titre dans la direction qui le flatte. Chaque fichier a ensuite été résolu plutôt que recherché: les règles qui atteignent un rampeur nommé à la racine du site, élaboré par les règles de regroupement robots.txt standard établit, parce qu'un fichier qui empile trente noms de rampeurs au-dessus d'un bloc permissif a autorisé les trente. Les lignes sont dans l'ordre où la source les détient, qui est alphabétique par domaine avec le domaine enlevé — sans rapport avec tout ce qui a été mesuré, de sorte que tout parcours de lignes de lui est une bonne tranche de l'ensemble.

Le résumé

La première 60 des 1,020 lignes. Le téléchargement a tous. Gratuit à utiliser avec le crédit, inclus dans le commerce.

Ce que signifie chaque colonne

réseau

Le réseau publicitaire dont la liste de clients publiée le domaine a été tiré de

_Crawlers

Combien de courants AI rampeurs les noms de fichiers du tout, qu'il les bloque ou non

blocs_croyeurs

Combien d'entre eux il bloque en fait à la racine du site, une fois le fichier est résolu

Nom _des jetons

Les rampeurs les noms de fichiers, séparés par des point-virgules

_jetons bloqués

Les rampeurs les blocs de fichiers, séparés par des semi-colons

bloc_citation_crawler

oui quand au moins un rampeur bloqué est celui qui récupère une page pour répondre à une question et liens retour

_Jetons retraités

Noms dans le fichier qu'aucun fournisseur ne documente actuellement, séparés par des point-virgules. Pas une revendication que le rampeur a cessé de fonctionner — seulement que son supposé opérateur ne l'énumère pas

_template du fournisseur

L'outil ou le réseau dont le bloc marqué apparaît dans le fichier, où on fait

← Chaque ensemble de données