Los editores bloquean el AI visitante que les hubiera enviado un lector al menos diez veces más a menudo que el que sólo los archiva lejos

Por Plain Reckoner · 2,283 palabras · sobre 10 min · Actualizado 2026-10-19

Cada sitio tiene un pequeño archivo de texto, robots.txt, que dice a los visitantes automatizados lo que pueden leer. 1,020 pequeños editores financiados por anuncios, 11.9% bloque ChatGPT-User - el que hace una página para responder a alguien's pregunta y enlace de nuevo al sitio - mientras 0.4% bloque OAI-SearchBot, que sólo archiva páginas para la búsqueda. Eso es al menos una diferencia de diez veces, y la muestra no puede decir si es diez veces o cien veces más. 76.1% no digas nada AI visitantes en absoluto, 29.9% de los archivos llevan la redacción de un proveedor puesto allí en lugar de una decisión que el propietario tomó. 106 archivos y volver a medir aquí en diez veces más que muchos; cada parte sostuvo.

Cuidado con la trama 65s · narrado · las mismas figuras que arriba

Cada sitio web lleva un pequeño archivo de texto llamado robots.txt. Se sienta en la parte delantera del sitio, cualquiera puede leerlo, y todo su trabajo es decir a los visitantes automatizados qué partes del sitio pueden buscar. Los visitantes automatizados son llamados rastreadores, y cada uno da su nombre cuando llega.

Pequeños editores no están decidiendo qué AI las empresas pueden hacer con sus sitios. La mayoría no tienen ninguna regla, y entre los que lo hacen, el acto único más común es bloquear el rastreador que les habría enviado un lector.

11.9% de los bloques de muestra ChatGPT-User. 0.4% bloques OAI-SearchBot.

Esos dos rastreadores pertenecen a la misma compañía. OpenAI's propia documentación dice ChatGPT-User se utiliza "para ciertas acciones de usuario en ChatGPT y los gastos de aduana", donde cuando los usuarios hacen una pregunta "puede visitar una página web con una ChatGPT- Agente del usuario" — es la visita que sucede porque alguien hizo una pregunta su página respuestas, y es como la respuesta termina llevando un enlace de vuelta a usted. OAI-SearchBot es "utilizado para la superficie de sitios web en resultados de búsqueda en ChatGPT's características de búsqueda", y de ese OpenAI adiciones: "Para ayudar a asegurar que su sitio aparezca en los resultados de búsqueda, le recomendamos que permita OAI-SearchBot en su sitio robots.txt archivo."

Así que uno de ellos puede enviarle un lector y el otro archivos que usted lejos. Bloquear el primero mientras que permite el segundo es atrasado, y no es plausible que estos muchos editores lo significaron.

Cuanto más a menudo, exactamente

121 of of 1,020 ficheros contra 4 of of 1,020Divide esos y te dan 30, que es la mejor sola conjetura y no está cerca tan sólido como parece, porque descansa en un denominador de cuatro archivos.

Así que esto es lo que podemos pararnos atrás. 1,020 archivos, dibujar 1,020 de ellos de vuelta al azar con repeticiones permitidas, contar a ambos rastreadores de nuevo, y hacer eso veinte mil veces. Esa es una manera de preguntar qué habría dicho esta medición si se habían elegido miles de editores diferentes, y no supone nada acerca de los dos recuentos que se mueven juntos — lo que importa, porque son contados sobre los mismos archivos, y tres de los cuatro sitios que bloquean OAI-SearchBot bloque ChatGPT-User también. Diecinueve veces en veinte, la respuesta aterriza entre 14.5 y 134. En un resplandor en cincuenta, no hay sitio en todas las cuadras OAI-SearchBot y el múltiple no tiene un extremo superior.

Un segundo método, que no comparte ninguna suposición con el primero: tomar el rango cada porcentaje es conocido por separado y dividir el extremo bajo de uno por el extremo alto del otro. Eso es deliberadamente demasiado ancho, y da 9.9 a 127.

Ambos pisos despejados diez. "por lo menos diez veces más", y los dos porcentajes llevan el hallazgo mejor que cualquier múltiple. Lo que esta nota no hará es el estado 30× como si fuera medido.

¿Cómo es toda la muestra?

Y por rastreador:

La última columna es el rango que cada figura es realmente conocido. Es la razón por la que las cuatro filas inferiores deben ser leídos como "casi nadie", y no como una orden.

Lo que la remesurabilidad cambió, y lo que no

Esto fue publicado por primera vez 2026-09-01 desde 106 archivos, uno a la vez. Desde entonces nuestro propio rastreador ha estado leyendo el mismo tipo de archivo cada noche, por lo que la misma pregunta se podría hacer de nuevo de casi diez veces más que muchos editores sin preguntar a nadie por nada nuevo.

No se dio vuelta atrás. La parte titular — editores sin reglas— se movió de 76% a 76.1%. Las dos figuras que más movió, la redacción del proveedor 34% a 29.9% y bloquear un rastreador de citas de 14% a 12.1%, ambos se movió menos que el propio margen de error de la primera muestra, que era alrededor de ocho puntos de ancho.

Lo que hizo el cambio es la precisión. 106 archivos que estas acciones fueron conocidos dentro de aproximadamente ocho puntos; en 1,020 son conocidos dentro de dos o tres.

Y los múltiples en la parte superior de esta nota se han ido. 15× — 15 archivos de 106 contra la 1 of of 106 — que es la división correcta de los recuentos correctos y aún no debe haber sido impreso, porque el denominador era un solo archivo. 1,020 archivos el punto estimado es 30 y el rango funciona de cerca 10 para bien 100, así que 15 Se encuentra fuera de lo que la muestra mayor soporta. Un número que sobrevive siendo dividido correctamente puede todavía ser un número que nadie debe haber declarado, y la noticia fue en la primera muestra todo el tiempo: 1 of of 106 tiene una gama de 0% a 5%, y ninguna relación construida en ella podría haber validado dos cifras significativas.

El cheque que teníamos que hacer primero, y casi se equivocaba

Una muestra más grande es sólo mejor si es una muestra de la misma cosa.

Nuestro rastreador trabaja a través de su lista menos-recently-tried primero, así que la lectura "lo que sea que haya recogido hasta ahora" es una muestra de quien fue alcanzado, que no es aleatorio con respecto a nada. Un pase anterior en esta misma tienda celebrada 597 editor de archivos donde todos 597 vino de una de las dos redes de anuncios y ninguna de la otra. Eso es invisible en un total. Habría publicado a los clientes de una red como toda la lista.

Así que esta medida no lee todo en la tienda. Lee sólo la 1,200 dominios que se dibujaron una vez, de antemano, con cada red dada su parte de la lista, y sólo los archivos recogidos en un solo día cuando todos 1,200 Se trata de once otros archivos en la tienda son legibles y fueron dejados fuera porque no son parte de ese sorteo. Once son de una red, y todos los once no dicen nada sobre AI Los rastreadores —así como ellos habrían anulado el titular hacia arriba usando archivos que nada escogió al azar.

Importa aquí más de lo que normalmente lo haría, porque los editores de las dos redes difieren genuinamente: 88% de archivos de uno de ellos no dicen nada sobre AI contra los rastreadores 60% de la otra. Re-peso por lo que cada red cuenta por su parte de la lista completa, en lugar de su parte de los archivos que nos respondieron, mueve cada figura en la tabla de arriba por menos de medio punto.

¿Por qué los números salen así?

Casi un tercio de los archivos llevan un signo de cuenta que un proveedor escribió el AI sección — una red de anuncios poniendo un bloque en los archivos de sus editores, o un plugin de WordPress que genera una lista. El editor no lo eligió y en la mayoría de los casos nunca ha funcionado lo que hace.

Las listas que llevan estas plantillas también están fuera de la fecha. 16.4% de los nombres de la muestra al menos un rastreador que aparece en la documentación actual de ninguna empresa. 2.3% del bloque de archivos sólo nombres que ya no existen, lo que significa que no excluyen nada mientras miran, a cualquiera que los abra, como una política.

La parte que es fácil de equivocarse

No lo bloquean.

El archivo se lee en bloques. Un bloque es una o más líneas que nombran a los rastreadores, seguido de las reglas que se aplican a ellos, y las reglas sólo comienzan una vez que el funcionamiento de los nombres termina. 9309, lo pone claramente: un bloque es "Uno o más user-agent líneas que son seguidas por una o más reglas. El grupo es terminado por un user-agent línea o fin de archivo."

Así que un archivo que apila treinta nombres de rastreadores en la parte superior de una regla permisiva ha permitido a los treinta. Se lee como una pared y funciona como una puerta abierta. 2.7% de esta muestra hace exactamente eso con al menos un rastreador.

Es por eso que las cifras anteriores se resuelven en lugar de contar. User-agent: GPTBot habría reportado esos archivos como máximo estrictos cuando son lo opuesto, y es el error que cualquiera que revisa su propio archivo por ojo hará.

Qué hacer al respecto, si hay algo que hacer.

Hay una decisión real aquí y no es la que hacen las plantillas.

Bloquear un rastreador que recopila páginas para formar un modelo es una decisión sobre la licencia de su trabajo. Su material se utiliza para construir un modelo y no se le paga por él; la disminución es coherente, y 21.2% de esta muestra disminuye.

Bloquear un rastreador que respuestas a una pregunta y enlaces atrás es una decisión sobre el tráfico, y funciona de otra manera. No protege su contenido — que el contenido ya está en los conjuntos de entrenamiento, o no lo es. Lo que hace es sacarle de una respuesta que le habría llamado y vinculado a usted.

Lo que quieras, lo que vale la pena es abrir el archivo y leerlo como lo haría una máquina. El nuestro es un lugar para hacer eso, y también el de cualquier otro.

Límites

Esto es... 1,020 archivos legibles, de una muestra de 1,200 dibujado con una palabra de inicio fija de una lista 16,076 dominios que dos redes ad publican como sus propios editores. Describe pequeñas empresas de contenido y nada más — los grandes editores con firma AI las ofertas se comportan completamente diferente, y son de donde viene cada otra figura publicada sobre este tema.

180 de la 1,200 no nos dio nada que pudiéramos leer. Se quedan fuera en lugar de contar como lo permite todo, porque una negativa — un HTTP 403, que 107 de ellos dieron - es un hecho sobre un cortafuegos y no sobre una política, y contarlos de la otra manera habría movido el titular en la dirección que lo halaga. Diez de la 180 contestado normalmente con un archivo vacío; los que se dejan fuera también, en la misma regla la primera medida utilizada, y contando como silencio en lugar de poner la parte titular en 76.3% en lugar de 76.1%.

La lista de la que dibujimos es editores en dos redes de anuncios, no en la web. Un editor sin red de anuncios no está en ella.

Lo que medimos es lo que dicen los archivos, no lo que pasa después

Esto cuenta las reglas escritas en los archivos. No mide si hay AI la compañía los obedece, y uno de ellos dice claramente que no puede.

OpenAI's propia documentación para ChatGPT-User, leer de nuevo 2026-09-02:

"Cuando los usuarios preguntan ChatGPT o un CustomGPT una pregunta, puede visitar una página web con una ChatGPT- Agente de usuario." … "Debido a que estas acciones son iniciadas por un usuario, robots.txt las reglas pueden no aplicarse."

Eso califica la consecuencia, y vale la pena ser exacto acerca de qué parte toca y qué parte no lo hace.

No cambia el hallazgo. Por lo menos diez veces más editores escribió una regla contra el rastreador que traza una página para responder a la pregunta de alguien que archiva páginas para buscar. Eso es un hecho sobre lo que está en los archivos, la mayoría de esas líneas fueron escritas por un plugin o una red de anuncios, y es el mismo hecho de cualquier manera.

Cambia lo que sigue de ella. Escribimos que bloquear el primer rastreador saca a un editor de una respuesta que habría ligado de nuevo a ellos. Si la regla no puede ser aplicada, esa consecuencia es más débil de lo que la frase implica. La versión honesta: han escrito una regla que pide ser dejado fuera de ella, y si la solicitud es honrada no es algo que medimos y no algo que podemos ver de un archivo.

Dos límites más de la misma página, ambos cortados contra la lectura demasiado en cualquiera de los dos números:

"ChatGPT-User no se utiliza para arrastrar la web de una manera automática." "ChatGPT-El usuario no se utiliza para determinar si el contenido puede aparecer en Búsqueda."

Por lo tanto, los dos agentes no son dos ajustes en una esfera. Comparar con qué frecuencia cada uno está bloqueado sigue siendo la comparación correcta — son los rastreadores de la misma empresa y uno cita mientras que el otro no lo hace — pero es una comparación de lo que los editores pidieron, no de lo que recibieron.

Descargue la muestra de datos públicos 1,020 filas · CSV · CC BY 4.0 · sin cuenta, sin correo electrónico

Rastreado como AI-CRAWLER-POLICY-VENDOR-DEFAULT. Si un número aquí parece incorrecto, Dinos y lo revisaremos contra la fuente.