Les éditeurs bloquent la AI visiteur qui leur aurait envoyé un lecteur au moins dix fois plus souvent que celui qui ne les dépose que

Par Plain Reckoner · 2,283 mots · à propos 10 min · Mise à jour 2026-10-19

Chaque site a un petit fichier texte, robots.txt, qui indique aux visiteurs automatisés ce qu'ils peuvent lire. 1,020 petites maisons d'édition financées par la publicité, 11.9% bloc ChatGPT-User — celui qui récupère une page pour répondre à quelqu'un's question et lien vers le site — pendant 0.4% bloquer OAI-SearchBot, qui ne dépose que des pages pour la recherche. C'est au moins une différence de dix fois, et l'échantillon ne peut pas dire si c'est dix fois ou cent fois. 76.1% ne rien dire sur AI des visiteurs, et 29.9% des dossiers portent le libellé d'un fournisseur mis là plutôt qu'une décision prise par le propriétaire. 106 fichiers et re-mesuré ici sur dix fois plus de; chaque part détenue.

Regardez-le. 65s · narré · les mêmes chiffres que ci-dessus

Chaque site contient un petit fichier texte appelé robots.txt. Il est situé à l'avant du site, n'importe qui peut le lire, et son travail est de dire aux visiteurs automatisés quelles parties du site ils peuvent chercher. Ces visiteurs automatisés sont appelés rampeurs, et chacun donne son nom quand il arrive.

Les petits éditeurs ne décident pas de ce AI La plupart n'ont aucune règle du tout, et parmi ceux qui le font, l'acte le plus commun est de bloquer le rampant qui leur aurait envoyé un lecteur.

11.9% des blocs d ' échantillon ChatGPT-User. 0.4% blocs OAI-SearchBot.

Ces deux rampeurs appartiennent à la même compagnie. OpenAILa documentation dit : ChatGPT-User est utilisé "pour certaines actions de l'utilisateur ChatGPT et des TPG personnalisés", où quand les utilisateurs posent une question "il peut visiter une page Web avec un ChatGPT- Agent utilisateur" — c'est la visite qui se produit parce que quelqu'un a posé une question à votre page répond, et c'est ainsi que la réponse finit par porter un lien vers vous. OAI-SearchBot est "utilisé pour faire surface des sites Web dans les résultats de recherche dans ChatGPTcaractéristiques de recherche", et de celui-là OpenAI ajoute: "Pour vous assurer que votre site apparaît dans les résultats de recherche, nous vous recommandons d'autoriser OAI-SearchBot dans votre site robots.txt fichier."

Ainsi l'un d'eux peut vous envoyer un lecteur et l'autre un fichier que vous éloignez. Bloquer le premier tout en permettant le second est en arrière, et il n'est pas plausible que ce nombre d'éditeurs l'a voulu.

Combien plus souvent, exactement

121 des 1,020 fichiers contre 4 des 1,020. Divisez-les et vous obtenez 30, qui est la meilleure hypothèse unique et n'est nulle part aussi solide qu'il semble, parce qu'il repose sur un dénominateur de quatre fichiers.

Alors voilà ce que nous pouvons vraiment supporter derrière. 1,020 fichiers, dessin 1,020 C'est une façon de se demander ce que cette mesure aurait dit si un millier d'éditeurs différents avaient été choisis, et elle n'imagine rien des deux chiffres se déplaçant ensemble — ce qui compte, parce qu'ils sont comptés sur les mêmes fichiers, et trois des quatre sites qui bloquent OAI-SearchBot bloc ChatGPT-User 19 fois dans 20, la réponse se situe entre 14.5 et 134. Dans un exemple sur cinquante, aucun site à tous les blocs OAI-SearchBot et le multiple n'a pas de sommet.

Une deuxième méthode, qui ne partage aucune hypothèse avec la première: prendre l'intervalle chaque pourcentage est connu séparément et diviser le bas de l'un par le haut de l'autre. 9.9 à 127.

Les deux étages en dégagent dix, donc la phrase honnête est "au moins dix fois plus souvent", et les deux pourcentages portent la conclusion mieux que n'importe quel multiple ne fait. Ce que cette note ne fera pas est l'état 30× comme s'il était mesuré.

À quoi ressemble l'échantillon entier

Et par rampeur :

La dernière colonne est l'intervalle à laquelle chaque figure est vraiment connue. C'est la raison pour laquelle les quatre lignes en bas doivent être lues comme suit: "presque personne", et pas comme un ordre.

Ce qui a changé et ce qui n'a pas changé

Ce document a été publié pour la première fois le 2026-09-01 de 106 Depuis, notre propre rampeur a lu le même genre de fichier chaque nuit, de sorte que la même question pourrait être posée à nouveau de près de dix fois plus d'éditeurs sans demander quelque chose de nouveau à personne.

Rien ne s'est retourné. 76% à 76.1%. Les deux chiffres qui ont le plus évolué, la formulation du fournisseur de 34% à 29.9% et de bloquer une citation ramper de 14% à 12.1%, les deux ont déplacé moins que la marge d'erreur propre au premier échantillon, qui était d'environ huit points de large.

Ce qui a changé, c'est la précision. 106 les dossiers que ces parts étaient connues à environ huit points; 1,020 ils sont connus à moins de deux ou trois.

Et le multiple en haut de cette note a disparu. 15× — 15 fichiers de 106 contre 1 des 106 — qui est la bonne division des comptes de droite et qui n'aurait pas dû être imprimée, parce que le dénominateur était un seul fichier. 1,020 fichiers l'estimation de point est 30 et la gamme court d'environ 10 à bien plus 100Donc 15 Un nombre qui survit à être correctement divisé peut encore être un nombre que personne n'aurait dû indiquer, et le témoin était dans le premier échantillon tout au long: 1 des 106 a une gamme de 0% à 5%, et aucun rapport construit sur elle n'aurait pu valoir deux chiffres significatifs.

Le chèque que nous devions faire en premier, et presque se tromper

Un plus grand échantillon n'est meilleur que s'il s'agit d'un échantillon de la même chose.

Notre rampeur fonctionne à travers sa liste le moins récemment essayé d'abord, donc lire "Tout ce qu'il a recueilli jusqu'à présent" est un échantillon de qui il est arrivé à atteindre, ce qui n'est pas aléatoire par rapport à quoi que ce soit. 597 fichiers d'éditeur où tous 597 est venu de l'un des deux réseaux publicitaires et aucun de l'autre. C'est invisible dans un total. Il aurait publié les clients d'un réseau comme la liste complète.

Donc cette mesure ne lit pas tout dans le magasin. 1,200 les domaines qui ont été dessinés une fois, à l'avance, avec chaque réseau en fonction de sa part de la liste, et seulement les fichiers recueillis un jour où tous les 1,200 Onze autres fichiers dans le magasin sont lisibles et ont été exclus parce qu'ils ne font pas partie de ce tirage. Tous les onze sont d'un seul réseau, et tous les onze ne disent rien sur AI les rampeurs — de sorte qu'ils auraient fait glisser le titre vers le haut à l'aide de fichiers que rien n'a choisi au hasard.

Il importe plus ici qu'il ne le serait d'habitude, car les éditeurs des deux réseaux diffèrent réellement: 88% de fichiers de l'un d'entre eux ne disent rien sur AI contre les rampeurs 60% Re-pondération de sorte que chaque réseau compte pour sa part de la liste complète, plutôt que sa part des fichiers qui nous ont répondu, déplace chaque chiffre dans le tableau ci-dessus de moins d'un demi-point.

Pourquoi les chiffres sortent de cette façon

Près d'un tiers des dossiers portent un signe de témoin qu'un fournisseur a écrit le AI section — un réseau publicitaire mettant un bloc dans les fichiers de ses éditeurs, ou un plugin WordPress générant une liste. L'éditeur ne l'a pas choisi et dans la plupart des cas n'a jamais travaillé sur ce qu'il fait.

Les listes de ces modèles sont également périmées. 16.4% de l'échantillon nominatif au moins un rampeur qui apparaît dans la documentation actuelle de l'entreprise. 2.3% du bloc de fichiers seulement les noms qui n'existent plus, ce qui signifie qu'ils n'excluent rien du tout en regardant, à quiconque les ouvre, comme une politique.

La partie qui est facile de se tromper

Le nom d'un rampant ne l'empêche pas.

Le fichier est lu en blocs. Un bloc est une ou plusieurs lignes qui nomment les rampeurs, suivies des règles qui s'appliquent à eux — et les règles ne démarrent qu'une fois que le jeu de noms se termine. 9309, le dit clairement: un bloc est "Un ou plusieurs user-agent les lignes suivies d'une ou de plusieurs règles. user-agent ligne ou fin de fichier."

Ainsi, un fichier qui empile trente noms de rampeurs sur le dessus d'une règle permissive a permis à toutes les trente. Il se lit comme un mur et fonctionne comme une porte ouverte. 2.7% de cet échantillon fait exactement cela avec au moins un rampeur.

C'est pourquoi les chiffres ci-dessus sont établis plutôt que comptés. User-agent: GPTBot aurait signalé ces fichiers comme étant le plus strict quand ils sont le contraire — et c'est l'erreur que quiconque vérifie son propre fichier par oeil fera.

Que faire, s'il y a quelque chose à faire?

Il y a une vraie décision ici et ce n'est pas celle que les modèles prennent.

Bloquer un rampeur qui collecte des pages pour former un modèle Votre matériel est utilisé pour construire un modèle et vous n'êtes pas payé pour cela; le déclin est cohérent, et 21.2% de cet échantillon décline.

Bloquer un rampeur qui répond à une question et les liens retour Il ne protège pas votre contenu — ce contenu est déjà dans les ensembles de formation, ou il ne l'est pas. Ce qu'il fait est vous sortir d'une réponse qui vous aurait nommé et lié à vous.

Ce que vous voulez, c'est ouvrir le fichier et le lire comme une machine le ferait.

Limites

Voici 1,020 fichiers lisibles, à partir d'un échantillon de 1,200 dessiné avec un mot de départ fixe à partir d'une liste de 16,076 les domaines que deux réseaux publicitaires publient en tant que leurs propres éditeurs. Il décrit les petites entreprises de contenu financé par la publicité et rien d'autre — les grands éditeurs avec signé AI les transactions se comportent complètement différemment, et ils sont d'où viennent tous les autres chiffres publiés sur ce sujet.

180 des 1,200 Nous n'avons rien pu lire. Ils sont exclus plutôt que comptés comme permettant tout, parce qu'un refus — un HTTP 403, qui 107 d'entre eux ont donné — est un fait au sujet d'un pare-feu et non pas d'une politique, et de les compter l'inverse aurait déplacé le titre dans la direction qui la flatte. 180 La première mesure utilisée, et en les comptant comme silencieuses à la place, mettrait la part des titres à 76.3% plutôt que 76.1%.

La liste que nous avons tirée est celle des éditeurs sur deux réseaux publicitaires, et non sur le web. Un éditeur sans réseau publicitaire n'y est pas.

Ce que nous avons mesuré, c'est ce que disent les fichiers, pas ce qui se passe ensuite.

Cela compte les règles écrites dans les fichiers. Il ne mesure pas si AI l'un d'eux leur obéit, et l'autre dit clairement qu'il ne le sera peut-être pas.

OpenAI's documentation propre pour ChatGPT-User, lire à nouveau 2026-09-02:

"Quand les utilisateurs demandent ChatGPT ou un CustomGPT une question, il peut visiter une page Web avec un ChatGPT- Agent utilisateur." … "Parce que ces actions sont initiées par un utilisateur, robots.txt les règles ne peuvent pas s'appliquer."

Cela qualifie la conséquence, et il vaut la peine d'être exact sur quelle partie elle touche et quelle partie elle ne le fait pas.

Cela ne change rien à la conclusion. Au moins dix fois plus d'éditeurs ont écrit une règle contre le rampeur qui récupère une page pour répondre à la question de quelqu'un que contre celle qui dépose des pages pour la recherche. C'est un fait sur ce qui est dans les fichiers, la plupart de ces lignes ont été écrites par un plugin ou un réseau publicitaire, et c'est le même fait de toute façon.

Il change ce qui en découle. Nous avons écrit que le blocage du premier rampeur enlève un éditeur d'une réponse qui aurait été liée à eux. Si la règle ne peut pas être appliquée, cette conséquence est plus faible que la phrase implique. La version honnête: ils ont écrit une règle qui demande à être laissé en dehors de lui, et si la demande est honorée n'est pas quelque chose que nous mesurons et pas quelque chose que nous pouvons voir dans un dossier.

Deux autres limites de la même page, qui ne permettent pas de lire trop dans l'un ou l'autre nombre :

"ChatGPT-L'utilisateur n'est pas utilisé pour ramper le web de façon automatique." "ChatGPT-L'utilisateur n'est pas utilisé pour déterminer si le contenu peut apparaître dans Search."

Les deux agents ne sont donc pas deux réglages sur un seul cadran.Comparer la fréquence de blocage est toujours la bonne comparaison — ils sont les rampeurs de la même entreprise et l'un cite tandis que l'autre ne le fait pas — mais c'est une comparaison de ce que les éditeurs ont demandé, pas de ce qu'ils ont reçu.

Télécharger l'échantillon de données publiques 1,020 rangées CSV · CC BY 4.0 · pas de compte, pas d'email

Suivie comme AI- CRAWLER-POLICY-VENDOR-DEFAULT. Dites-nous et nous allons vérifier la source.