Qui lit votre site

Êtes-vous inhabituel dans ce que vous laissez le AI Les entreprises lisent ?

Mesuré par a 16,076-domaine cadre que deux réseaux publicitaires nomment comme leurs propres clients, à partir de laquelle nous lisons les règles de rampeur de 1,020 éditeurs les données

Votre propre dossier

Lisez votre site à partir de la Aperçu général et nous allons marquer vos propres rangées ci-dessous.

Votre robots.txt C'est un court fichier à l'avant de votre site qui indique aux visiteurs automatisés ce qu'ils peuvent lire. Chacun de ces visiteurs est appelé un rampeur et arrive sous son propre nom. Rien sur le vôtre n'est envoyé n'importe où : nous l'avons lu dans votre navigateur à partir de la lecture conservée sur cet appareil.

Quoi ? 1,020 les fichiers d'éditeurs disent

Nous avons dessiné 1,200 domaines de la 16,076 que deux réseaux publicitaires nomment dans leurs propres listes publiées des éditeurs pour lesquels ils vendent, et lisent chacun robots.txt. 180 nous n'avons rien donné et nous sommes laissés en dehors du compte plutôt que de nous considérer comme permettant tout. Ces 7 les lignes se chevauchent. Un fichier qui bloque un rampeur qui aurait cité il est aussi un fichier qui bloque au moins un — donc ils sont 7 les façons de regarder 1,020 fichiers, pas 7 les groupes de fichiers, et les additionner donne un nombre plus grand que l'échantillon.

776 des 1,020 Ne dis rien. AI Des rampants. AI la société qui respecte le dossier est libre de lire le site — à la fois pour former un modèle sur lui et pour le citer dans une réponse.
216 des 1,020 Bloc au moins un AI C'est un rampant de la première page.
123 des 1,020 Bloquez au moins un rampeur qui leur aurait envoyé le lecteur — le genre qui récupère une page parce que quelqu'un a posé une question qu'il répond, et puis des liens retour.
28 des 1,020 Le fichier est lu en blocs — les noms d'abord, puis les règles qui s'appliquent à eux — donc une liste de noms assis au-dessus d'une règle qui permet tout permet chaque nom sur elle.
167 des 1,020 Nommez au moins un rampeur qui apparaît dans aucune documentation actuelle de l'entreprise, de sorte que cette ligne ne cache rien.
23 des 1,020 Nommer seulement les rampeurs qui n'existent plus. Rien n'est exclu du tout, et le fichier se lit comme une protection pour quiconque l'ouvre.
305 des 1,020 Porter une section un outil ou un réseau publicitaire écrit et signé avec son propre nom, de sorte que ces lignes ne sont pas le libellé de l'éditeur.

Bloqué, rampant par rampant

De la même façon 1,020 Les blocs d'un éditeur sont une décision différente de celle du nombre : un type recueille des pages pour former un modèle, c'est-à-dire une décision concernant l'octroi de licences d'écriture, et l'autre récupère une page parce que quelqu'un a posé une question qu'il répond, ce qui est une décision sur le trafic.

Les deux lignes qui méritent d'être lues ensemble sont OpenAIC'est... ChatGPT-User Il récupère une page parce que quelqu'un lui a posé une question, et la réponse renvoie des liens; OAI-SearchBot Il n'y a que des pages de fichiers à rechercher. 121 de ces fichiers bloquent le premier et 4 bloquer la seconde: 11.9% contre 0.4%. C'est au moins une différence de dix fois et l'échantillon ne peut pas dire beaucoup plus que cela: sur quatre dossiers, le multiple pourrait être n'importe où d'environ dix à bien plus d'une centaine.

GPTBot Recueille des pages pour former un modèle 206 des 1,020
CCBot Recueille des pages pour former un modèle 201 des 1,020
ChatGPT-Usager Réponses à une question, et liens en arrière 121 des 1,020
Google-Extended Recueille des pages pour former un modèle 89 des 1,020
ClaudeBot Recueille des pages pour former un modèle 74 des 1,020
PerplexitéBot Réponses à une question, et liens en arrière 7 des 1,020
OAI-SearchBot Réponses à une question, et liens en arrière 4 des 1,020
Claude-Utilisateur Réponses à une question, et liens en arrière 2 des 1,020
Claude-SearchBot Réponses à une question, et liens en arrière 2 des 1,020

C'est une preuve.

1,020 fichiers est 1,020 Il s'agit de petites entreprises de contenu publicitaire financées par deux réseaux publicitaires — pas le web, et pas les grands éditeurs avec signé AI les affaires, qui se comportent complètement différemment et sont d'où viennent toutes les autres figures publiées sur ce sujet. Un éditeur sans réseau publicitaire n'est pas dans la liste que nous avons tirée du tout. Le tirage a utilisé un mot de départ fixe (plainreckoner) plutôt que le hasard, donc n'importe qui peut le répéter et obtenir les mêmes domaines, et chaque réseau a reçu la même part de l'échantillon qu'il a de la liste. 2026-09-02.

Ceci a d'abord été mesuré sur 2026-09-01 contre 106 fichiers et re-mesuré ici contre 1,020. Rien ne s'est retourné: rien dire sur AI les rampeurs étaient 76% et est 76.1%. Porter quelqu'un d'autre 34% et est 29.9%. Ce qui a changé, c'est la façon dont chaque figure est connue : à 106 fichiers une part de cette taille peut être lu seulement à l'intérieur de huit points de l'une ou l'autre manière, et à 1,020 Les lignes les plus rares sont encore les moins sûres — le bas de la liste ci-dessus repose sur deux fichiers et sur quatre, et aucune taille d'échantillon n'a fait ces précis.

Une qualification, et elle vient de l'entreprise elle-même. De la rampeuse qui récupère une page parce que quelqu'un a posé une question, OpenAI écrit: Parce que ces actions sont initiées par un utilisateur, robots.txt les règles ne peuvent pas s'appliquer. Donc, les comptes ci-dessus sont ce que les fichiers SAY, qui est ce que nous mesurons et tout ce que nous prétendons. Si chaque entreprise agit sur ce qu'un dossier dit est une question séparée, et la réponse honnête est que nous ne l'avons pas mesuré.

Les deux réseaux ne se ressemblent pas, c'est pourquoi l'échantillon est tiré pour correspondre à la liste plutôt que simplement en prenant ce qu'un rampeur atteint en premier. Raptive est 43.5% de la liste et 42.4% de ce que nous lisons, et 60% de ses fichiers ne disent rien sur AI Des rampants. Mediavine est 56.5% de la liste et 57.6% de ce que nous lisons, et 88% de ses fichiers ne disent rien sur AI Des rampants. Pondérer chaque réseau à sa part de la liste plutôt que sa part des fichiers qui ont répondu déplace chaque chiffre ci-dessus de moins d'un demi-point.

Ce que chaque fichier permet est élaboré plutôt que recherché. Le fichier est lu en blocs — une ou plusieurs lignes nommant des rampeurs, puis les règles qui s'appliquent à eux — donc un fichier empilant trente noms au-dessus d'une seule règle qui permet tout a permis tous les trente.

GoogleRecherche AI le contrôle est séparé de robots.txt

GoogleParamètres de la console de recherche → Recherche générative AI contrôle la participation d'un bien AI Aperçu général AI Mode et génération AI caractéristiques dans Discover. Google dit qu'exclure un site supprime ses liens et son contenu de ces fonctionnalités, sans changer les signaux de classement ou d'inclusion ailleurs dans Search. Google-Extended contrôle la formation séparée et les autres AI utilise ; le blocage ne définit pas ce choix de Search Console.

Ce scan public ne peut pas lire ce paramètre privé, votre AI les impressions, la conformité réelle des rampeurs ou les revenus de licence. AI les rapports décrivent la visibilité; les impressions seules ne révèlent pas les clics perdus ou ce qui se serait passé sous un autre cadre. Lire GoogleDocuments de contrôle et dont AI Annonce de rapports.