89 éditeurs bloqués Google-Extended pour rester en dehors de AI réponses. Google dit qu'il ne fait pas ça
Par Plain Reckoner · 697 mots · à propos 3 min · Mise à jour
Google-Extended est l'éditeur de noms ajouté à robots.txt quand ils veulent sortir de Google's AI. De l'autre côté 1,020 petites maisons d'édition financées par la publicité, 89 d'entre eux — 8.7% — bloquer. Google's sa propre documentation dit qu'il contrôle si vos pages forment les futurs modèles Gemini, et qu'il 'n'a pas d'impact sur un site's inclus dans Google La recherche n'est pas utilisée comme signal de classement dans Google Rechercher.' AI Les aperçus font partie de Google Rechercher. Donc un éditeur qui a bloqué Google-Extended pour rester hors de la boîte à réponses n'a pas laissé la boîte à réponses; ils ont choisi de ne pas suivre de formation et ont gardé tout le reste. Rien ne leur dit, parce que robots.txt fichier ne se rapporte jamais.
- Comment elle a été mesurée
- Nous lisons 1,020 robots.txt fichiers et a élaboré ce que chacun permet réellement sur le site's porte avant, suivant la RFC 9309 Les règles de groupe plutôt que de chercher des noms plus rampants. 89 de ces fichiers refusés Google-Extended Ce que fait le jeton est cité mot pour mot de Google's sa propre documentation de rampeur, récupéré sur 2026-09-03. Nous n'avons pas mesuré si l'un ou l'autre de ces 89 Les éditeurs ont voulu ce que nous décrivons — c'est la partie que nous ne pouvons pas voir, et la note le dit.
- Dernière vérification
Écoute ça. Jouer lire à partir de cette page, rien ajouté
Regardez-le. 62s · narré · les mêmes chiffres que ci-dessus
Il y a une ligne d'éditeurs ajouter à robots.txt quand ils décident de ne pas vouloir GoogleL'intelligence artificielle utilisant leur travail. Google-Extended. C'est la ligne la plus couramment recommandée pour le travail, et 89 des 1,020 Les éditeurs que nous lisons l'ont.
Il ne fait pas le travail.
Quoi ? Google dit que c'est vrai.
À partir Google's propre liste de ses rampeurs, lire sur 2026-09-03:
Google-Extended est un jeton de produit autonome que les éditeurs Web peuvent utiliser pour gérer si le contenu Google Les rampants de leurs sites peuvent être utilisés pour former les générations futures de modèles Gemini.
Et puis, dans la même entrée, la phrase qui compte :
Google-Extended n'a pas d'incidence sur l'inclusion d'un site dans Google La recherche n'est pas utilisée comme signal de classement dans Google Rechercher.
AI Aperçus — la réponse Google parfois écrit en haut de la page des résultats — font partie de Google Chercher. Donc bloquer Google-Extended Il prend le site de la formation de Gemini, qui est une chose différente, décidée à un moment différent, avec des conséquences différentes.
Ce que cela signifie pour le 89
Un éditeur qui a ajouté cette ligne pour rester hors de la boîte à réponses est toujours dans la boîte à réponses. Ils ont abandonné quelque chose — leurs pages ne forment plus Gemini — et n'ont reçu rien qu'ils visaient.
Nous ne pouvons pas voir ce qu'un éditeur individuel voulait. Un fichier n'enregistre pas une raison. 89 Peut-être que vous avez voulu exactement ce qu'ils ont obtenu: par formation, à la recherche. C'est une position cohérente et c'est celle que le jeton est conçu pour exprimer.
Mais il vaut la peine de savoir quelle porte vous avez fermée. robots.txt Il n'y a aucune confirmation, aucun rapport, et aucun moyen de vérifier de l'extérieur si l'effet que vous vouliez est l'effet que vous avez obtenu.
Le modèle qui en fait partie
Nous avons déjà mesuré cette forme sur la même 1,020 fichiers. Les éditeurs bloquent le rampeur qui leur aurait envoyé un lecteur onze fois plus souvent que celui qui ne contient que des pages pour la recherche. Trois sur dix des fichiers portent la formulation d'un plugin ou d'un réseau publicitaire mis là plutôt qu'une décision du propriétaire.
Vous écrivez une règle, et rien ne vous dit jamais si elle a fait ce que vous vouliez dire. Chaque autre levier d'un éditeur tire des rapports en arrière — le trafic se déplace, les revenus se déplace, un tableau de bord change. Celui-ci est silencieux, donc une mauvaise croyance à ce sujet peut rester en place pendant des années.
Que faire avec votre propre fichier
Ouvrez-le. Il est sur votre domaine suivi par /robots.txt, et tout le monde peut le lire, y compris vous.
Si vous trouvez Google-Extended Si c'était le cas, décidez de ce que vous vouliez. "ne vous entraînez pas sur mon travail"Si c'était le cas, "Ne me laisse pas en dehors du AI réponse en haut des résultats", il ne l'est pas, et Google ne publie aucun jeton qui le fait — leur documentation indique que la façon de contrôler ce qui apparaît dans ces réponses est la même que pour tout autre résultat de recherche.
Notre lecteur libre déterminera ce que votre fichier permet, résolut la façon dont une machine le lit plutôt que de chercher des noms, et vous dira où vous vous asseyez contre ces 1,020 Les éditeurs, ça ne stocke rien.
Limites
Cela compte ce qui 1,020 les fichiers disent, tirés d'un cadre de 16,076 les domaines que deux réseaux publicitaires publient comme leurs propres éditeurs. Il décrit les petites entreprises de contenu financé par la publicité et rien d'autre.
Nous n'avons pas mesuré l'intention. Nous avons mesuré que 89 fichiers bloquent un jeton, et nous citons ce Google La conclusion est l'écart entre ce que le jeton est largement utilisé et ce que son propriétaire documente.
Nous n'avons pas non plus mesuré si Google Ce n'est pas visible de l'extérieur non plus.
Suivie comme AI- CRAWLER-POLICY-VENDOR-DEFAULT. Dites-nous et nous allons vérifier la source.