Quien lee su sitio

Eres inusual en lo que dejaste AI ¿Leen las empresas?

Medida contra a 16,076-domain frame that two ad networks name as their own customers, from which we read the Drager rules of 1,020 editores los datos

Su propio archivo

Lea su sitio desde el Sinopsis y marcaremos tus propias filas abajo.

Tu robots.txt es un archivo corto en la parte delantera de su sitio que dice a los visitantes automatizados lo que pueden leer. Cada uno de esos visitantes se llama un rastreador y llega bajo su propio nombre. Nada sobre el suyo se envía en cualquier lugar: lo leemos en su navegador desde la lectura guardada en este dispositivo.

¿Qué? 1,020 Los archivos de los editores dicen

Dibujimos 1,200 dominios de los 16,076 que dos redes ad nombre en sus propias listas publicadas de los editores que venden, y lean cada uno robots.txt. 180 no nos dio nada que pudiéramos leer y se nos queda fuera de la cuenta en lugar de contar como permitir todo. Estas son estas 7 filas se superponen. Un archivo que bloquea un rastreador que habría citado también es un archivo que bloquea al menos uno, por lo que son 7 maneras de mirar 1,020 archivos, no 7 grupos de archivos, y añadirlos da un número más grande que la muestra.

776 of of 1,020 No digas nada. AI Todos los rastreadores. AI empresa que respeta el archivo es libre de leer el sitio — tanto para formar un modelo en él como para citarlo en una respuesta.
216 of of 1,020 Bloquear por lo menos uno AI Rastreador de la portada.
123 of of 1,020 Bloquear por lo menos un rastreador que les hubiera enviado el lector, el tipo que pica una página porque alguien hizo una pregunta que responde, y luego se vincula de nuevo.
28 of of 1,020 Escriba el nombre de un rastreador y déjelo pasar de todos modos. El archivo se lee en bloques —nombres primero, luego las reglas que se aplican a ellos— por lo que una lista de nombres sentados sobre una regla que permite todo permite cada nombre en él.
167 of of 1,020 Nombre al menos un rastreador que aparece en la documentación actual de ninguna empresa, por lo que esa línea no mantiene nada fuera.
23 of of 1,020 Nombra sólo a los rastreadores que ya no existen. Nada está excluido, y el archivo lee como protección a cualquiera que lo abra.
305 of of 1,020 Llevar una sección una herramienta o una red de anuncios escribió y firmó con su propio nombre, por lo que esas líneas no son la redacción del editor.

Bloqueado, arrastrado por el rastreador

De la misma manera 1,020 archivos. Lo que arrastra a un editor bloques es una decisión diferente de cuántos: un tipo recoge páginas para entrenar un modelo, que es una decisión sobre la licencia de escritura, y las otras embragues una página porque alguien hizo una pregunta que responde, que es una decisión sobre el tráfico.

Las dos líneas que valen la pena leer juntos son OpenAI’s. Es ChatGPT-User sembra una página porque alguien hizo una pregunta que responde, y la respuesta se enlaza de nuevo; OAI-SearchBot sólo archivos de páginas para la búsqueda. 121 de estos archivos bloquean el primero y 4 bloquear el segundo: 11.9% contra la 0.4%. Eso es al menos una diferencia de diez veces y la muestra no puede decir mucho más que eso: en cuatro archivos, los múltiples podrían ser honestamente en cualquier lugar de alrededor de diez a mucho más de cien.

GPTBot Recoge páginas para formar un modelo 206 of of 1,020
CCBot Recoge páginas para formar un modelo 201 of of 1,020
ChatGPT-User Responde a una pregunta, y los enlaces de vuelta 121 of of 1,020
Google-Extended Recoge páginas para formar un modelo 89 of of 1,020
ClaudeBot Recoge páginas para formar un modelo 74 of of 1,020
PerplejidadBot Responde a una pregunta, y los enlaces de vuelta 7 of of 1,020
OAI-SearchBot Responde a una pregunta, y los enlaces de vuelta 4 of of 1,020
Claude-User Responde a una pregunta, y los enlaces de vuelta 2 of of 1,020
Claude-SearchBot Responde a una pregunta, y los enlaces de vuelta 2 of of 1,020

Lo que esto es evidencia sobre

1,020 archivos 1,020 son pequeñas empresas de contenido con financiación de anuncios en dos redes de anuncios, no en la web, y no en los grandes editores con firma AI ofertas, que se comportan completamente diferente y son de donde viene cada otra figura publicada sobre este tema. Un editor sin red de anuncios no está en la lista que dibujimos en absoluto. El sorteo utilizó una palabra de inicio fijo (plainreckoner) en lugar de casualidad, para que cualquiera pueda repetirlo y obtener los mismos dominios, y cada red se le dio la misma parte de la muestra que tiene de la lista. Medido 2026-09-02.

Esto se midió primero. 2026-09-01 contra la 106 archivos y volver a medir aquí contra 1,020. Nada se dio por vencido: no decir nada AI Los rastreadores eran 76% y es 76.1%. Llevar la plantilla de alguien más era 34% y es 29.9%. Lo que cambió es lo bien que se conoce cada figura: 106 archivos una parte de este tamaño se puede leer sólo a dentro de unos ocho puntos de cualquier manera, y en 1,020 es aproximadamente dos o tres. Las filas más raras son todavía las menos seguras — la parte inferior de la lista de rastreadores arriba descansa en dos archivos y en cuatro, y no hay tamaño de muestra que hayamos hecho esos precisos.

Una cualificación, y viene de la propia empresa. De los rastreadores que sembra una página porque alguien hizo una pregunta, OpenAI escribe: Debido a que estas acciones son iniciadas por un usuario, robots.txt las reglas pueden no aplicarse. Así que los recuentos arriba son lo que los archivos SAY, que es lo que medimos y todo lo que afirmamos. Si cada empresa actúa en lo que un archivo dice es una pregunta separada, y la respuesta honesta es que no la midimos.

Las dos redes no son iguales, por lo que la muestra se dibuja para coincidir con la lista en lugar de simplemente tomar lo que un rastreador llega primero. Raptive es 43.5% de la lista y 42.4% de lo que leemos, y 60% de sus archivos no dicen nada sobre AI Arrastreros. Mediavine es 56.5% de la lista y 57.6% de lo que leemos, y 88% de sus archivos no dicen nada sobre AI Arrastreros. El peso de cada red a su parte de la lista en lugar de su parte de los archivos que respondieron mueve cada figura arriba por menos de medio punto.

Lo que cada archivo permite se resuelve en lugar de buscar. El archivo se lee en bloques — una o más líneas que nombran a los rastreadores, entonces las reglas que se aplican a ellos — por lo que un archivo que apila treinta nombres por encima de una sola regla que permite todo lo permitido a los treinta. Contando los nombres en lugar de eso reportaría ese archivo como el más estricto en la muestra.

Google’s Search AI el control está separado robots.txt

Google’s Search Console setting en Settings → Buscar generative AI controla si una propiedad participa en AI Reseñas, AI Mode and generative AI características en Discover. Google dice que excluir un sitio elimina sus enlaces y contenido de esas características, sin cambiar las señales de clasificación o inclusión en otro lugar de Búsqueda. Google-Extended controla la capacitación separada y otros AI usos; bloqueo no establece esta opción de Search Console.

Este escaneo público no puede leer ese entorno privado, su AI impresiones, cumplimiento real de los rastreadores o ingresos de licencias. AI reportes describen la visibilidad; impresiones por sí solas no revelan los clics perdidos o lo que habría ocurrido bajo un entorno diferente. Leer Google’s control documentation y de su AI anuncio de presentación de informes.