Quem lê o seu site

Você é incomum no que você deixou o AI As empresas lêem?

Medida contra a 16,076-frame de domínio que duas redes de anúncios nomeiam como seus próprios clientes, a partir do qual lemos as regras do rastreador de 1,020 editores os dados

O seu próprio ficheiro

Leia o seu site do visão geral e marcaremos as vossas próprias fileiras abaixo.

A sua robots.txt é um arquivo curto na frente do seu site que diz aos visitantes automatizados o que eles podem ler. Cada um desses visitantes é chamado de rastreador e chega sob seu próprio nome. Nada sobre o seu é enviado em qualquer lugar: nós lemos no seu navegador a partir da leitura mantida neste dispositivo.

O quê? 1,020 os arquivos dos editores dizem

Desenhamos. 1,200 Domínios da 16,076 que duas redes de anúncios nomeiam em suas próprias listas publicadas dos editores que vendem para, e ler cada um de robots.txt. 180 Não nos deu nada que pudéssemos ler e estamos fora do conde em vez de contarmos como permitindo tudo. Estes 7 As linhas sobrepõem-se. Um arquivo que bloqueia um rastreador que teria citado é também um arquivo que bloqueia pelo menos um — então eles são 7 formas de olhar para 1,020 ficheiros, não 7 grupos de arquivos, e adicionando-os dá um número maior do que a amostra.

776 de 1,020 Não digas nada sobre... AI Rastejadores de tudo. AI A empresa que respeita o arquivo é livre de ler o site — tanto para treinar um modelo nele quanto para citá-lo em uma resposta.
216 de 1,020 Bloquear pelo menos um AI Rastreador da primeira página.
123 de 1,020 Bloqueie pelo menos um rastreador que teria enviado o leitor — o tipo que busca uma página porque alguém fez uma pergunta que responde, e então liga de volta.
28 de 1,020 Escreva o nome de um rastreador e deixe-o passar de qualquer maneira. O arquivo é lido em blocos — nomes primeiro, depois as regras que se aplicam a eles — de modo que uma lista de nomes sentados acima de uma regra que permite que tudo permita cada nome nele.
167 de 1,020 Nomeie pelo menos um rastreador que aparece na documentação atual da empresa, de modo que a linha não mantém nada fora.
23 de 1,020 Nome apenas rastreadores que já não existem. Nada é excluído, e o arquivo lê como proteção para qualquer um que o abra.
305 de 1,020 Carregue uma seção uma ferramenta ou uma rede de anúncios escrita e assinada com seu próprio nome, de modo que essas linhas não são a redação do editor.

Bloqueado, rastejante por rastejante

Fora do mesmo 1,020 arquivos. Que crawler um editor bloqueia é uma decisão diferente de quantos: um tipo coleta páginas para treinar um modelo, que é uma decisão sobre licenciamento da escrita, e o outro busca uma página porque alguém fez uma pergunta que responde, que é uma decisão sobre o tráfego.

As duas linhas que valem a pena ler em conjunto são OpenAIDe. Sua ChatGPT-User busca uma página porque alguém fez uma pergunta que ele responde, e as ligações de resposta de volta; OAI-SearchBot apenas páginas de arquivos para pesquisa. 121 destes ficheiros bloqueiam o primeiro e 4 Bloquear o segundo: 11.9% contra 0.4%. Isso é pelo menos uma diferença de dez vezes e a amostra não pode dizer muito mais do que isso: em quatro arquivos, o múltiplo poderia honestamente estar em qualquer lugar de cerca de dez a bem mais de cem.

GPTBot Coleta páginas para treinar um modelo 206 de 1,020
CCBot Coleta páginas para treinar um modelo 201 de 1,020
ChatGPT- Usuário Responde a uma pergunta, e liga de volta 121 de 1,020
Google-Extended Coleta páginas para treinar um modelo 89 de 1,020
ClaudeBot Coleta páginas para treinar um modelo 74 de 1,020
PerplexidadeBot Responde a uma pergunta, e liga de volta 7 de 1,020
OAI-SearchBot Responde a uma pergunta, e liga de volta 4 de 1,020
Claude-User Responde a uma pergunta, e liga de volta 2 de 1,020
Claude- SearchBot Responde a uma pergunta, e liga de volta 2 de 1,020

Do que se trata isto?

1,020 arquivos é 1,020 São pequenas empresas de conteúdo financiadas por anúncios em duas redes de anúncios — não na Web, e não nas grandes editoras com assinatura AI trata, que se comportam de forma completamente diferente e são de onde todas as outras figuras publicadas sobre este assunto vêm. Um editor sem rede de anúncios não está na lista de onde tiramos. O sorteio usou uma palavra inicial fixa (plainreckoner) em vez de acaso, para que qualquer pessoa possa repeti-lo e obter os mesmos domínios, e cada rede foi dada a mesma parte da amostra que tem da lista. 2026-09-02.

Esta foi medida pela primeira vez em 2026-09-01 contra 106 arquivos e re-medidas aqui contra 1,020Nada virado: não dizer nada sobre AI rastreadores era 76% e é 76.1%. Carregar o modelo de outra pessoa foi 34% e é 29.9%. O que mudou é o quão bem cada figura é conhecida: em 106 arquivos uma parte deste tamanho poderia ser lido apenas para dentro de cerca de oito pontos de qualquer forma, e em 1,020 As linhas mais raras ainda são as menos certas — a parte inferior da lista de rastejantes acima repousa em dois arquivos e em quatro, e nenhuma amostra que temos faz com que sejam precisas.

Uma qualificação, e vem da própria empresa, do rastreador que vai buscar uma página porque alguém fez uma pergunta, OpenAI escreve: Porque estas ações são iniciadas por um usuário, robots.txt As regras podem não se aplicar. Portanto, as contas acima são o que os arquivos DIZEM, que é o que medimos e tudo o que reivindicamos. Se toda empresa age sobre o que um arquivo diz é uma pergunta separada, e a resposta honesta é que não medimos.

As duas redes não são iguais, e é por isso que a amostra é desenhada para corresponder à lista em vez de simplesmente pegar o que um rastreador atinge primeiro. Raptive é 43.5% da lista e 42.4% do que lemos, e 60% de seus arquivos não dizem nada sobre AI Rastreadores. Mediavine é 56.5% da lista e 57.6% do que lemos, e 88% de seus arquivos não dizem nada sobre AI Rastreadores. Ponderando cada rede em sua parte da lista em vez de sua parte dos arquivos que responderam move cada figura acima em menos de meio ponto.

O que cada arquivo permite é trabalhado em vez de procurar. O arquivo é lido em blocos — uma ou mais linhas que nomeiam rastreadores, então as regras que se aplicam a eles — então um arquivo empilhando trinta nomes acima de uma única regra que permite que tudo tenha permitido todos os trinta. Contando os nomes, em vez disso, relataria esse arquivo como o mais restrito na amostra.

GoogleA Busca AI O controlo está separado do robots.txt

GoogleConfiguração do Console de Pesquisa em Definições → Pesquisar generative AI controla se uma propriedade participa em AI Resumos, AI Modo e generativo AI recursos em Discover. Google diz que excluir um site remove seus links e conteúdo dessas características, sem alterar o ranking ou sinais de inclusão em outro lugar na Pesquisa. Google-Extended Controlos de formação separada e outros AI usa; o bloqueio não define esta opção do Console de Pesquisa.

Esta varredura pública não pode ler essa configuração privada, seu AI Impressões, conformidade real do rastreador ou renda de licenciamento. AI relatórios descrevem visibilidade; as impressões por si só não revelam cliques perdidos ou o que teria acontecido em uma configuração diferente. Ler GoogleDocumentação de controlo e a sua AI comunicação de informações.