Dataset

Que AI gateers 1,020 pequeños editores financiados por anuncios nombre y bloque en robots.txt

Histórico robots.txt políticas de 1,020 archivos legibles en una muestra extraída de una 16,076- marco de red publicitaria de dominio. Nombre de fichas, bloques de sitio resueltos, banderas de nombre legado y marcadores de plantilla son campos separados. En la instantánea salvada, 244 de ellos nombrados rastreadores evaluados: 216 bloqueado al menos uno en la raíz y 28 No bloqueó ninguno. 244, 167 Estas observaciones describen el contenido de los archivos públicos, no la intención del propietario, el cumplimiento real de los rastreadores, las referencias perdidas, la formación de modelos o los ingresos de licencias. 2026-09-02; descripciones y denominadores fueron aclarados sobre 2026-10-20.

• 16,076 dominios en el marco
• 1,200 dominios dibujados
• 1,020 archivos legibles
• 9 AI los rastreadores se resolvieron contra cada uno

Cobertura

2026-09-02

Última actualización

2026-10-20

Licencia

CC BY 4.0

DOI

10.5281/zenodo.22280370

¿Qué es una fila?

Un editor robots.txt archivo: que AI Se arrastra a los nombres, que en realidad bloquea, los nombres que lleva que no hay documentos de proveedores, y cuya plantilla fue escrita.

Subjects

robots.txt, AI - ¿Qué? GPTBot, ChatGPT-User, ClaudeBot, CCBot, Google-Extended, bloqueo de los rastreadores, AI opt-out de entrenamiento, editores web, RFC 9309

Descargue la muestra de datos públicos 1,020 filas · 8 columnas · CSV · sin cuenta, sin correo electrónico

Lea el hallazgo de que esto salió de Los editores bloquean el AI visitante que les hubiera enviado un lector al menos diez veces más a menudo que el que sólo los archiva lejos

Cómo citar esto

Úsalo comercialmente, cámbialo, cúbrelo. La única condición es el crédito, y un enlace lo satisface.

Qué debe saber acerca de estos datos

• Estas son pequeñas empresas de contenido financiadas por publicidad en dos redes de publicidad. No son la web. Un editor sin red de anuncios no está en el marco en absoluto, y los grandes editores que cada otra figura publicada viene de comportarse completamente diferente.
• Un archivo que no podría ser llevado es un hecho sobre un cortafuegos, no una política. 180 los dominios que se negaron se dejan fuera del denominador en lugar de contar como silencio.
• Las categorías no son una partición y no deben ser agregadas. Un archivo que bloquea un rastreador que lo habría citado también bloquea al menos un rastreador, y a menudo lleva nombres de la plantilla de alguien más escrito. Añadiéndolos da un número mayor que la muestra.
• “Ningún proveedor lo documenta” no es “está muerto”. Revisamos cada nombre contra la supuesta lista de rastreadores publicada por su operador. Documentos antropos ClaudeBot, Claude-User y Claude-SearchBot, y ni antropía-ai ni claude-web está entre ellos — pero ningún vendedor publica un aviso de jubilación, por lo que lo que podemos mostrar es que un editor está nombrando algo que el operador no lista, no que nada responde a él.
• Un marcador de vendedor dice que parte del archivo no fue escrito por el fabricante. No dice el AI las reglas en particular provienen del vendedor - un bloque Yoast comúnmente no contiene AI reglas para nada.
• Los dominios se omiten de la descarga. El marco publicado, la semilla y el método permiten que la muestra se redibuja; la omisión no es una garantía contra la reidentificación.

Cómo se midió

1,200 dominios fueron extraídos una vez de los 16,076 las dos redes publican sobre sí mismas, clasificadas por un hash de una semilla publicada y el nombre de dominio, para que cualquiera pueda redibujar la misma muestra. robots.txt en un solo pase completo; 1,020 contestado y 180 se niega o no se puede alcanzar, y los que no se pueden alcanzar son excluidos del denominador en lugar de contar como no decir nada, que habría movido el titular en la dirección que lo halaga. Cada archivo fue resuelto después en lugar de buscar: las reglas que llegan a un llamado rastreador en la raíz del sitio, elaboradas por el agrupamiento reglas el robots.txt estándar se establece, porque un archivo que apila treinta nombres de gateer por encima de un bloque permisivo ha autorizado las treinta. Las filas están en el orden que la fuente los sostiene, que es alfabético por dominio con el dominio eliminado — no relacionado con nada medido, por lo que cualquier tira de filas de él es una rebanada justa del todo.

El resumen

La primera 60 of of 1,020 filas. La descarga tiene todos ellos. Libre de usar con crédito, incluido comercialmente.

Lo que cada columna significa

red

La red de publicidad cuya lista de clientes publicada el dominio fue extraída de

nombres_crawlers

¿Cuántas corrientes? AI arrastra los nombres de los archivos en absoluto, ya sea o no los bloquea

bloques_crawlers

¿Cuántos de ellos bloquea en la raíz del sitio, una vez que el archivo se resuelve

llamado_tokens

Los rastreadores de los nombres de los archivos, separados por semicolons

bloqueado_tokens

Los rastreadores de los bloques de archivos, separados por semicolons

bloques_citation_crawler

si cuando al menos uno bloqueado es uno que sembra una página para responder a una pregunta y enlaces de nuevo

jubilado_tokens

Nombres en el archivo que ningún vendedor documenta actualmente, separado por semicolonias. No es una afirmación de que el rastreador dejó de funcionar — sólo que su supuesto operador no lo lista

Vendor_template

La herramienta o red cuyo bloque marcado aparece en el archivo, donde uno lo hace

← Cada conjunto de datos