68% de noms de fichiers AI les rampeurs portent aussi des noms de robots
Par Plain Reckoner · 664 mots · à propos 3 min · Mise à jour
Dans l'histoire 1,020-échantillon de fichier, 244 fichiers nommés AI les chenilles et 167 de ceux qui portaient aussi des noms classés comme legs dans notre registre des rampeurs: 68.4%. Le nom ne bloque pas : 216 fichiers bloqués au moins un rampeur évalué à la racine du site, tandis que 28 Ces fichiers ne révèlent pas l'intention du propriétaire, la conformité réelle des rampeurs ou la perte de trafic.
- Comment elle a été mesurée
- Nous avons recompté les chiffres publiés à partir des sauvés 2026-09-02 échantillon: 1,200 domaines tirés d'une 16,076-domaine publicité-cadre réseau, avec 1,020 lisible robots.txt fichiers. Les entrées nommées, les blocs de racine résolus et les drapeaux de nom d'héritage sont des champs séparés. 2026-10-20; que le contrôle de la source n'est pas un rampant frais de l'échantillon.
- Dernière vérification
Un nom dans robots.txt ne bloque pas nécessairement quoi que ce soit. Parmi les 1,020 fichiers lisibles dans notre échantillon d'éditeur historique, 244 Nommé AI Des rampants, de ceux-là, 167 Il a également porté des noms classés comme legs par le registre utilisé pour cette mesure. 167 / 244 = 68.4%, arrondi à 68%.
Le dénominateur est important. 68% de tous les éditeurs, de tous les sites échantillonnés, ou même de tous les fichiers qui bloquent activement un rampeur courant. 244 les fichiers qui ont appelé les rampeurs.
Les noms et les règles efficaces sont des mesures différentes
L'échantillon enregistré sépare trois groupes :
| État du fichier observé | Fichiers | Part des 1,020 fichiers lisibles |
|---|---|---|
| Pas d'évaluation AI Rinceur | 776 | 76.1% |
| Nommé rampeurs et bloqué au moins une à la racine du site | 216 | 21.2% |
| Nommées rampeuses mais non bloquées à la racine du site | 28 | 2.7% |
Les deux dernières lignes s'ajoutent à 244. Leurs seuls noms ne vous indiqueraient pas à quel groupe un fichier appartient. Un bloc listant plusieurs agents utilisateurs au-dessus d'un Allow: / peut les nommer tous tout en permettant l'accès.
Il s'agit d'évaluations root-path. Un fichier peut aussi contenir des règles différentes pour un autre chemin. Nous n'avons pas testé chaque URL ni observé chaque requête de rampler.
Les Ensemble de données téléchargeables conserve séparément les jetons nommés, les jetons bloqués, les drapeaux de réseau et les drapeaux de nom d'héritage. Sa méthode identifie le cadre historique, les semences, les exclusions et la date de collecte.
Noms documentés anthropiques
Anthropiques sa propre documentation sur les rampeurs, vérifié à nouveau 20 Octobre 2026, distingue trois utilisations:
| Jeton | Utilisation décrite par l'opérateur |
|---|---|
ClaudeBot | Recueillir des contenus susceptibles de contribuer à la formation modèle |
Claude-User | Récupération du contenu dans la direction d'un utilisateur |
Claude-SearchBot | Améliorer la qualité des résultats de recherche |
La même page ne contient pas de liste anthropic-ai ou claude-web. Le registre enregistré a marqué ces chaînes comme legs. Cette observation ne prouve pas qu'aucun logiciel ne les utilise encore, ou déterminer si un éditeur particulier , le travail atteint un modèle.
Dans cet instantané, 163 les fichiers ont porté la première chaîne de caractères et 138 Ces catégories se chevauchent : les ajouter ferait double-compter les fichiers. ClaudeBot est 74, pas les 101 qui ont été mentionnées dans la présente note.
Le blocage d'une chaîne héritée ne signifie pas non plus qu'un fichier a omis le jeton actuel. Les deux peuvent se produire dans le même fichier. Nous retirons donc l'inférence antérieure selon laquelle la plupart des propriétaires croyaient qu'ils avaient bloqué Anthropic mais l'avaient laissé ouvert.
Ce que cela dit sur les renvois
Un contrôle de formation et un contrôle de récupération dirigé par l'utilisateur servent à des fins différentes. ChatGPT-User en 121 fichiers et OAI-SearchBot Cette comparaison est entre deux jetons de récupération/de recherche; elle ne montre pas que les rampeurs de récupération ont été bloqués plus souvent que tous les rampeurs d'entraînement. GPTBot a été bloqué 206 les dossiers.
A robots.txt Une demande réussie n'est pas la preuve que le contenu a été sous licence. Un jeton manquant n'est pas la preuve que chaque bot peut entrer : un pare-feu, une authentification ou une autre règle peut également contrôler l'accès.
Google fournit en outre une Recherche Console control for Search generative AI Caractéristiques. Il est séparé de Google-Extended, et son environnement de propriété privée ne peut pas être déterminé à partir de ce dossier public. outil de rampeur explique cette distinction sans deviner votre réglage ou estimer les clics manquants.
Un contrôle pratique
Lisez le jeton contre la documentation courante de l'opérateur, évaluez les règles pour le chemin que vous aimez, et inspectez les journaux de serveur réels si vous avez besoin de savoir ce qui l'a récupéré. Enregistrez ces observations comme des observations séparées. AI opt-out, score de préparation à l'octroi de licences ou prévisions de revenus.
Niveau de preuve : A. L'historique de l'instantané de données primaires et la documentation actuelle de l'opérateur appuient les chiffres et les définitions indiqués, mais ils n'établissent pas l'adoption actuelle sur le Web, l'intention de l'utilisateur ou l'impact économique.
Suivie comme AI- CRAWLER-POLICY-VENDOR-DEFAULT. Dites-nous et nous allons vérifier la source.