68% de nomes de arquivos AI rastejadores também carregam nomes de bots legados
Por Plain Reckoner · 664 palavras · sobre 3 min · Atualizado
No histórico 1,020- amostra de ficheiro, 244 ficheiros com nome AI rastejantes e 167 dos quais também carregavam nomes classificados como legados no nosso registo de rastejantes: 68.4%. Nomeação não está bloqueando: 216 arquivos bloqueados pelo menos um rastreador avaliado na raiz do site, enquanto 28 rastreadores nomeados sem bloquear qualquer lá. Estes arquivos não revelam intenção do proprietário, conformidade real do rastreador ou tráfego perdido.
- Como foi medida
- Nós recomputamos as contagens publicadas dos salvos 2026-09-02 Amostra: 1,200 domínios retirados de a 16,076- quadro publicitário-rede de domínio, com 1,020 legível robots.txt arquivos. Entradas nomeadas, blocos de raiz resolvidos e bandeiras de nomes legados são campos separados. As definições publicadas do rastreador do Anthropic foram novamente verificadas 2026-10-20; essa verificação de origem não é um novo rastreamento da amostra.
- Última verificação
Um nome em robots.txt não necessariamente bloqueia nada. Entre 1,020 arquivos legíveis em nossa amostra de editor histórico, 244 nomeado AI Rastreadores. 167 também carregavam nomes classificados como legados pelo registro utilizado para essa medida. 167 / 244 = 68.4%, arredondados para 68%.
O denominador é importante. 68% de todos os editores, todos os sites amostrados, ou até mesmo todos os arquivos que bloqueiam ativamente um rastreador atual. 244 arquivos que chamam rastejantes.
Nomes e regras eficazes são medições diferentes
A amostra salva separa três grupos:
| Estado do arquivo observado | Ficheiros | Parte da 1,020 ficheiros legíveis |
|---|---|---|
| Nome não avaliado AI rastejante | 776 | 76.1% |
| Nomeados rastreadores e bloqueados pelo menos um na raiz do local | 216 | 21.2% |
| Nomeados rastreadores, mas nenhum bloqueado na raiz do site | 28 | 2.7% |
As duas últimas linhas adicionam 244. Os seus nomes não lhe diriam de que grupo pertence um ficheiro. Um bloco que lista vários agentes de utilizador acima de um Allow: / pode nomear todos eles enquanto permite o acesso.
Estas são avaliações de root-path. Um arquivo também pode conter regras diferentes para outro caminho. Nós não testamos cada URL ou observamos todas as solicitações do rastreador.
A Conjunto de dados para download retém fichas nomeadas, fichas bloqueadas, bandeiras de rede e nomes legados separadamente. Seu método identifica o quadro histórico, semente, exclusões e data de coleta. Um quadro de listas de editores financiados por publicidade não é uma amostra representativa de toda a web.
Nomes documentados do Antrópico
Antrópicos documentação própria do rastreador, verificado novamente em 20 Outubro 2026, distingue três utilizações:
| Token | Utilização descrita pelo operador |
|---|---|
ClaudeBot | Coletar conteúdo que pode contribuir para a formação de modelos |
Claude-User | Obtendo conteúdo na direção de um usuário |
Claude-SearchBot | Melhorar a qualidade dos resultados de pesquisa |
A mesma página não lista anthropic-ai ou claude-web. O registro salvo marcou essas strings como legado. Essa observação não prova que nenhum software ainda as usa, ou estabelece se o trabalho de um determinado editor alcançou um modelo.
Neste instantâneo, 163 os arquivos carregavam a primeira string legada e 138 carregou o segundo. Estas categorias sobrepõem- se: a sua adição contaria os ficheiros em duplicado. A conta de actualidade resolvida para ClaudeBot é 74, não o 101 anteriormente indicado nesta nota.
Bloquear um texto legado também não implica que um arquivo omitiu o token atual. Ambos podem ocorrer no mesmo arquivo. Portanto, retiramos a inferência anterior de que a maioria dos proprietários acreditava que tinham bloqueado Anthropic, mas o deixaram aberto. Nem as crenças do proprietário nem a conformidade do rastreador foram medidas.
O que isso diz sobre encaminhamentos
Um controle de treinamento e um controle de recuperação dirigido pelo usuário servem para diferentes propósitos. ChatGPT-User em 121 ficheiros e OAI-SearchBot em quatro. Essa comparação é entre dois tokens de recuperação/pesquisa; não mostra que os crawlers de recuperação foram bloqueados mais frequentemente do que todos os crawlers de treinamento. Por exemplo, GPTBot foi bloqueado em 206 Arquivos.
A robots.txt A política não é uma perda de tráfego medida. Um pedido bem- sucedido não é a prova de que o conteúdo foi licenciado. Um token em falta não é a prova de que cada bot pode entrar: um firewall, autenticação ou outra regra também pode controlar o acesso.
Google Além disso, fornece uma Controle do Console de Pesquisa para Pesquisa gerativa AI recursos. Está separado de Google-Extended, e sua configuração de propriedade privada não pode ser determinada a partir deste arquivo público. ferramenta de rastreamento explica essa distinção sem adivinhar sua configuração ou estimar cliques em falta.
Uma verificação prática
Leia o token contra a documentação atual do operador, avalie as regras para o caminho que você se importa, e inspecione os registros reais do servidor se você precisar saber o que foi obtido. Grave-os como observações separadas. Não traduza uma lista de nomes para uma lista universal AI Opt-out, licença pontuação de prontidão ou previsão de receita.
Grau de evidência: A. O snapshot de dados primários históricos e a documentação atual do operador suportam as contagens e definições declaradas. Eles não estabelecem a adoção atual através da web, intenção do usuário ou impacto econômico.
Rastreado como AISe um número aqui parecer errado, diga-nos e vamos verificá-lo com a fonte.