68% de los archivos de nombres AI Los rastreadores también llevan nombres de bot
Por Plain Reckoner · 664 palabras · sobre 3 min · Actualizado
En la historia 1,020- Muestra de archivos, 244 ficheros AI gateers and 167 de los que también llevaban nombres clasificados como legados en nuestro registro de rastreadores: 68.4%No está bloqueando: 216 archivos bloqueados por lo menos uno evaluado de rastreador en la raíz del sitio, mientras 28 Estos archivos no revelan la intención del propietario, el cumplimiento real de los rastreadores o el tráfico perdido.
- Cómo se midió
- Recompensamos los recuentos publicados de los salvados 2026-09-02 muestra: 1,200 dominios extraídos de 16,076-Permanecer el marco de publicidad-redes, con 1,020 legible robots.txt archivos. Las entradas nombradas, los bloques de raíz resueltos y las banderas de nombre hereditario son campos separados. 2026-10-20; esa comprobación de la fuente no es un rastreo fresco de la muestra.
- Última comprobación.
Un nombre en robots.txt no necesariamente bloquea nada. Entre 1,020 archivos legibles en nuestra muestra de editor histórico, 244 llamado AI De esos, 167 también llevaba nombres clasificados como legados por el registro utilizado para esa medición. 167 / 244 = 68.4%, redondeado a 68%.
El denominador importa. Esto no es 68% de todos los editores, todos los sitios muestreados, o incluso todos los archivos que bloquean activamente un rastreador actual. Es la parte dentro de la 244 archivos que se llamaban rastreadores.
Los nombres y las reglas efectivas son mediciones diferentes
La muestra guardada separa tres grupos:
| Estado de archivo observado | Archivos | Parte de la parte 1,020 archivos legibles |
|---|---|---|
| No se ha evaluado AI gateer | 776 | 76.1% |
| Se llama a los rastreadores y bloqueó al menos uno en la raíz del sitio | 216 | 21.2% |
| Nombrado rastreadores, pero no bloqueó ninguno en la raíz del sitio | 28 | 2.7% |
Las dos últimas filas se añaden a 244. Sus nombres por sí solos no le diría a qué grupo pertenece un archivo. Un bloque que enumera varios agentes de usuario por encima de un Allow: / puede nombrarlos todos mientras permite el acceso.
Estas son evaluaciones de root-path. Un archivo también puede contener reglas diferentes para otro camino. No probamos cada URL o observamos las peticiones de cada rastreador.
El Dataset descargable conserva fichas nombradas, fichas bloqueadas, banderas de red y de nombre de legado por separado. Su método identifica el marco histórico, semilla, exclusiones y fecha de recogida. Un marco de lista de editores financiados por publicidad no es una muestra representativa de toda la web.
Nombres documentados de Antrópico
Antrópico propia documentación de rastreadores, comprobado de nuevo 20 Octubre 2026, distingue tres usos:
| Token | Uso autorizado por el operador |
|---|---|
ClaudeBot | Recopilación de contenidos que puedan contribuir a la formación modelo |
Claude-User | Obtener contenido en la dirección de un usuario |
Claude-SearchBot | Mejora de la calidad de los resultados de búsqueda |
La misma página no lista anthropic-ai o claude-web. El registro guardado insignia esas cadenas como legado. Esa observación no prueba que ningún software todavía las utiliza, o establecer si el trabajo de un editor en particular llegó a un modelo.
En esta instantánea, 163 los archivos llevaban la primera cadena heredada y 138 por segundo. Estas categorías se superponen: añadirlos a los archivos de doble cuenta. ClaudeBot es 74, no el 101 previamente indicado en esta nota.
El bloqueo de una cadena heredada tampoco implica que un archivo omitió el token actual. Ambos pueden ocurrir en el mismo archivo. Por lo tanto, retiramos la inferencia anterior de que la mayoría de los propietarios creían que habían bloqueado Antropía pero lo habían dejado abierto. Ni las creencias del propietario ni el cumplimiento de los rastreadores fueron medidos.
Lo que esto dice sobre las referencias
Un control de entrenamiento y un control de recuperación dirigido por el usuario sirven diferentes propósitos. ChatGPT-User en 121 archivos y OAI-SearchBot en cuatro. Esa comparación es entre dos fichas de recuperación/búsqueda; no muestra que los rastreadores de recuperación fueron bloqueados más a menudo que todos los rastreadores de entrenamiento. Por ejemplo, GPTBot fue bloqueado en 206 archivos.
A robots.txt La política no es una pérdida de tráfico medida. Una solicitud exitosa no es prueba de que el contenido fue licenciado. Un token perdido no es prueba de que cada bot puede entrar: un cortafuegos, autenticación u otra regla también puede controlar el acceso.
Google Además, proporciona un Control de Consola de Búsqueda AI características. Está separado de Google-Extended, y su entorno de propiedad privada no se puede determinar desde este archivo público. Herramienta de rastreador explica esa distinción sin adivinar su configuración o estimar los clics perdidos.
Un cheque práctico
Lea el token contra la documentación actual del operador, evalúe las reglas para el camino que le importa, e inspeccione los registros reales del servidor si necesita saber qué lo ha pillado. Grabar los como observaciones separadas. No traducir una lista de nombres en una lista universal AI opt-out, calificación de preparación de licencias o pronóstico de ingresos.
Evidencia: A. La instantánea histórica de los datos primarios y la documentación actual del operador apoyan los conteos y definiciones declarados. No establecen la adopción actual en toda la web, la intención del usuario o el impacto económico.
Rastreado como AI-CRAWLER-POLICY-VENDOR-DEFAULT. Si un número aquí parece incorrecto, Dinos y lo revisaremos contra la fuente.