Os editores bloqueiam o AI visitante que lhes teria enviado um leitor pelo menos dez vezes mais vezes do que aquele que só os arquiva

Por Plain Reckoner · 2,283 palavras · sobre 10 min · Atualizado 2026-10-19

Cada site tem um pequeno arquivo de texto, robots.txt, que diz aos visitantes automatizados o que eles podem ler. 1,020 pequenos editores financiados por anúncios, 11.9% bloco ChatGPT-User — aquele que busca uma página para responder a alguém'Questionar e ligar de volta ao site – enquanto 0.4% Bloquear o OAI- SearchBot, que apenas arquiva páginas para pesquisa. Isso é pelo menos uma diferença de dez vezes, e a amostra não pode dizer se é dez vezes ou cem vezes. 76.1% não diga nada sobre AI visitantes, e 29.9% dos processos contêm a redacção de um fornecedor colocado lá em vez de uma decisão tomada pelo proprietário. 106 arquivos e re-mensurados aqui em dez vezes mais; cada ação realizada.

Observar o gráfico 65· narrado · as mesmas figuras que acima

Cada site carrega um pequeno arquivo de texto chamado robots.txt. Senta-se na frente do site, qualquer um pode lê-lo, e todo o seu trabalho é dizer aos visitantes automatizados quais as partes do site que eles podem buscar. Esses visitantes automatizados são chamados rastreadores, e cada um dá o seu nome quando ele chega.

Pequenos publicadores não estão decidindo o que AI As empresas podem fazer com seus sites. A maioria não tem nenhuma regra em tudo, e entre aqueles que fazem, o ato único mais comum é bloquear o rastreador que teria enviado-lhes um leitor.

11.9% dos blocos de amostra ChatGPT-User. 0.4% blocos OAI-SearchBot.

Esses dois rastejantes pertencem à mesma empresa. OpenAIA própria documentação diz: ChatGPT-User é utilizado "para certas ações do usuário em ChatGPT e GPTs personalizados", onde quando os usuários fazem uma pergunta "pode visitar uma página web com ChatGPT- Agente de utilizador" — é a visita que acontece porque alguém fez uma pergunta suas respostas da página, e é como a resposta acaba carregando um link de volta para você. OAI-SearchBot é "usado para superfície websites em resultados de busca em ChatGPTrecursos de pesquisa", e daquele OpenAI adds: "Para ajudar a garantir que o seu site apareça nos resultados de pesquisa, recomendamos que o OAI-SearchBot no site robots.txt Arquivo."

Assim, um deles pode enviar-lhe um leitor e o outro um arquivo que você. Bloqueando o primeiro enquanto permitindo que o segundo é para trás, e não é plausível que este muitos editores significou isso.

Quantas vezes mais, exactamente?

121 de 1,020 arquivos contra 4 de 1,020Dividam-nos e ficam 30, que é o melhor único palpite e não está nem perto de tão sólido como parece, porque se baseia em um denominador de quatro arquivos.

Portanto, aqui está o que podemos realmente ficar para trás. 1,020 arquivos, desenhar 1,020 de volta ao acaso com repetições permitidas, contar ambos os rastreadores novamente, e fazê-lo vinte mil vezes. Essa é uma maneira de perguntar o que esta medida teria dito se mil publicadores diferentes tinham sido escolhidos, e não assume nada sobre as duas contagens se movendo juntos — o que importa, porque eles são conta sobre os mesmos arquivos, e três dos quatro sites que bloqueiam OAI-SearchBot bloco ChatGPT-User Também. Dezenove vezes em vinte, a resposta pousa entre 14.5 e 134. Em uma amostra em cinquenta, nenhum local em todos os blocos OAI-SearchBot e o múltiplo não tem nenhuma extremidade superior.

Um segundo método, que não partilha nenhuma suposição com o primeiro: tomar o intervalo cada percentagem é conhecida separadamente e dividir a extremidade baixa de um pelo extremo alto do outro. Isso é deliberadamente demasiado largo, e dá 9.9 para 127.

Ambos os andares limpam dez. "pelo menos dez vezes mais vezes", e as duas porcentagens carregam o achado melhor do que qualquer múltiplo faz. O que esta nota não fará é indicar 30× Como se tivesse sido medido.

Como toda a amostra se parece

E por rastejante:

A última coluna é o intervalo a que cada figura é realmente conhecida. É a razão pela qual as quatro linhas inferiores devem ser lidas como "quase ninguém.", e não como uma ordem.

O que remensurou mudou, e o que não mudou

Esta publicação foi publicada pela primeira vez em 2026-09-01 de 106 Desde então, nosso próprio rastreador tem lido o mesmo tipo de arquivo todas as noites, então a mesma pergunta poderia ser feita novamente de quase dez vezes mais publicadores sem pedir nada de novo a ninguém.

A parte da manchete — publicadores sem nenhuma regra — saiu do 76% para 76.1%. Os dois números que mais se deslocaram, a formulação do fornecedor de 34% para 29.9% e bloqueando um rastreador citando de 14% para 12.1%, ambos moveram-se menos do que a margem de erro da primeira amostra, que tinha cerca de oito pontos de largura.

O que mudou foi a precisão. 106 os ficheiros que estas acções eram conhecidas dentro de cerca de oito pontos; 1,020 São conhecidos por dentro de dois ou três.

E o múltiplo no topo desta nota desapareceu. 15× — 15 arquivos de 106 contra 1 de 106 — que é a divisão correcta das contagens correctas e que ainda não deveria ter sido impressa, porque o denominador era um único ficheiro. 1,020 arquivos que a estimativa de ponto é 30 e o intervalo vai de cerca de 10 para bem mais 100, então 15 Um número que sobrevive a ser dividido corretamente ainda pode ser um número que ninguém deveria ter dito, e o sinal estava na primeira amostra desde o início: 1 de 106 tem uma gama de 0% para 5%, e nenhuma relação construída sobre ele poderia ter valido dois números significativos.

O cheque que tínhamos que fazer primeiro, e quase erramos.

Uma amostra maior só é melhor se for uma amostra da mesma coisa.

Nosso rastreador trabalha através de sua lista menos recentemente tentou primeiro, então lendo "o que quer que tenha recolhido até agora" é uma amostra de quem quer que tenha acontecido de alcançar, o que não é aleatório com relação a nada. 597 arquivos de editor onde todos 597 Veio de uma das duas redes de anúncios e nenhuma da outra. Isso é invisível em um total. Teria publicado os clientes de uma rede como a lista inteira.

Assim, esta medição não lê tudo na loja. 1,200 domínios que foram desenhados uma vez, com antecedência, com cada rede dada a sua quota-parte da lista, e apenas os ficheiros recolhidos num único dia em que todos 1,200 foram tentados. Onze outros arquivos na loja são legíveis e foram deixados de fora porque eles não fazem parte desse sorteio. Todos os onze são de uma rede, e todos os onze não dizem nada sobre AI crawlers — então, incluindo eles teria empurrado o título para cima usando arquivos que nada escolheu aleatoriamente.

Importa aqui mais do que normalmente, porque os editores das duas redes diferem genuinamente: 88% de arquivos de um deles não dizem nada sobre AI rastejantes, contra 60% Reponderando para que cada rede conte por sua participação na lista completa, ao invés de sua participação nos arquivos que nos responderam, move cada figura na tabela acima por menos de meio ponto.

Porque é que os números saem assim?

Quase um terço dos arquivos carregam um sinal de aviso de que um fornecedor escreveu o AI seção — uma rede de anúncios colocando um bloco nos arquivos de seus editores, ou um plugin WordPress gerando uma lista. O editor não o escolheu e na maioria dos casos nunca descobriu o que ele faz.

As listas desses modelos também estão desatualizadas. 16.4% dos nomes das amostras, pelo menos um rastreador que apareça na documentação atual da empresa. 2.3% do bloco de arquivos Apenas nomes que já não existem, o que significa que não excluem nada enquanto olham, para quem os abre, como uma política.

A parte que é fácil de errar

Nomear um rastreador não é bloqueá-lo.

O arquivo é lido em blocos. Um bloco é uma ou mais linhas que nomeiam rastreadores, seguidas pelas regras que se aplicam a eles — e as regras só começam quando termina a execução dos nomes. O padrão que define isso, RFC 9309, deixa claro: um bloco é "Uma ou mais user-agent linhas que são seguidas por uma ou mais regras. user-agent linha ou fim do ficheiro."

Assim, um arquivo que empilha trinta nomes de rastreadores em cima de uma regra permissiva permitiu todas as trinta. Lê como uma parede e funciona como uma porta aberta. 2.7% desta amostra faz exatamente isso com pelo menos um rastreador.

É por isso que os números acima são trabalhados em vez de contados. User-agent: GPTBot teria relatado esses arquivos como maximamente rigorosos quando eles são o oposto — e é o erro que qualquer um que verifica seu próprio arquivo por olho vai fazer.

O que fazer, se alguma coisa

Há uma decisão real aqui e não é aquela que os modelos fazem.

Bloqueando um rastreador que coleta páginas para treinar um modelo é uma decisão sobre licenciamento de seu trabalho. Seu material é usado para construir um modelo e você não é pago por ele; declínio é coerente, e 21.2% desta amostra diminui.

Bloqueando um rastreador que responde a uma pergunta e liga de volta é uma decisão sobre o tráfego, e corre para o outro lado. Ele não protege o seu conteúdo — que o conteúdo já está nos conjuntos de treinamento, ou não está. O que ele faz é tirá-lo de uma resposta que teria nomeado você e ligado a você.

O que você quiser, a coisa que vale a pena fazer é abrir o arquivo e lê-lo como uma máquina faria.

Limites

Isto é... 1,020 ficheiros legíveis, de uma amostra de 1,200 desenhado com uma palavra inicial fixa de uma lista de 16,076 Os domínios que duas redes de publicidade publicam como seus próprios editores. Descreve pequenas empresas de conteúdo financiadas por anúncios e nada mais — os grandes editores com assinatura AI os negócios comportam-se de forma completamente diferente, e são de onde vêm todas as outras figuras publicadas sobre este assunto.

180 da 1,200 Não nos deu nada que pudéssemos ler. Eles são deixados de fora em vez de conta como permitindo tudo, porque uma recusa — um HTTP 403, que 107 Dez dos dez países da Europa Central e Oriental, que se encontram na Europa Central e Oriental e que se encontram na Europa Central e de Leste, têm uma posição muito positiva. 180 respondeu normalmente com um arquivo vazio; eles são deixados de fora também, na mesma regra a primeira medida usada, e contá- los como silenciosos em vez disso colocaria o compartilhamento de título em 76.3% em vez de 76.1%.

A lista de onde tiramos são os publishers em duas redes de anúncios, não a web. Um publisher sem rede de anúncios não está nele.

O que medimos é o que os arquivos dizem, não o que acontece a seguir.

Isto conta as regras escritas nos ficheiros. Não mede se existe alguma AI A companhia os obedece, e um deles diz claramente que não pode.

OpenAIdocumentação própria para ChatGPT-User, leia novamente 2026-09-02:

"Quando os usuários perguntam ChatGPT ou um CustomGPT uma pergunta, ele pode visitar uma página web com um ChatGPT- Agente de utilizador." … "Porque estas ações são iniciadas por um usuário, robots.txt As regras podem não se aplicar."

Isso qualifica a consequência, e vale a pena ser exato sobre qual parte toca e qual parte não toca.

Isso não muda a descoberta. Pelo menos dez vezes mais que muitos editores escreveram uma regra contra o rastreador que busca uma página para responder à pergunta de alguém, como contra aquela que arquiva páginas para pesquisa. Isso é um fato sobre o que está nos arquivos, a maioria dessas linhas foram escritas por um plugin ou uma rede de anúncios, e é o mesmo fato de qualquer forma.

Isso muda o que se segue dele. Nós escrevemos que bloquear o primeiro rastreador tira um editor de uma resposta que teria ligado de volta a eles. Se a regra pode não ser aplicada, essa consequência é mais fraca do que a frase implica. A versão honesta: eles escreveram uma regra que pede para ser deixada de fora, e se o pedido é honrado não é algo que medimos e não algo que podemos ver de um arquivo.

Mais dois limites a partir da mesma página, ambos cortados contra a leitura demais em cada número:

"ChatGPT-O usuário não é usado para rastejar na web de forma automática." "ChatGPT-O usuário não é usado para determinar se o conteúdo pode aparecer na Pesquisa."

Assim, os dois agentes não são duas configurações em um mostrador. Comparando com que frequência cada um é bloqueado ainda é a comparação certa — eles são rastreadores da mesma empresa e um cita enquanto o outro não — mas é uma comparação do que os editores pediram, não do que eles receberam.

Baixe a amostra de dados públicos 1,020 linhas · CSV · CC BY 4.0 · sem conta, sem e-mail

Rastreado como AISe um número aqui parecer errado, diga-nos e vamos verificá-lo com a fonte.