Conjunto de dados

Que AI Rastreadores 1,020 pequeno anúncio financiado publishers nome e bloco em robots.txt

Histórico robots.txt políticas de 1,020 arquivos legíveis em uma amostra extraída de uma 16,076- domain propaganda- rede frame. Tokens nomeados, blocos de raiz do site resolvidos, bandeiras de nome legado e marcadores de modelo são campos separados. No instantâneo salvo, 244 Dentre eles, os rastreadores avaliados: 216 bloqueados pelo menos um na raiz e 28 Não bloqueou nenhum. 244, 167 Estas observações descrevem o conteúdo do ficheiro público, não a intenção do proprietário, a conformidade real do rastreador, os encaminhamentos perdidos, a formação do modelo ou a receita de licenciamento. 2026-09-02; as descrições e os denominadores foram clarificados em 2026-10-20.

• 16,076 domínios no quadro
• 1,200 domínios desenhados
• 1,020 ficheiros legíveis
• 9 AI rastejadores resolvidos contra cada um

Cobertura

2026-09-02

Última atualização

2026-10-20

Licença

CC BY 4.0

DOI

10.5281-Zenodo.22280370

O que é uma linha

Um publicador robots.txt ficheiro: qual AI rastreia o nome, o que na verdade bloqueia, que nomes carrega que nenhum documento do fornecedor, e de quem template foi escrito.

Sujeitos

robots.txt, AI rastejantes, GPTBot, ChatGPT-User, ClaudeBot, CCBot, Google-Extended, bloqueio de rastejantes, AI treinamento opt-out, web publishers, RFC 9309

Baixe a amostra de dados públicos 1,020 linhas · 8 colunas · CSV · sem conta, sem e-mail

Leia a descoberta que isto veio de Os editores bloqueiam o AI visitante que lhes teria enviado um leitor pelo menos dez vezes mais vezes do que aquele que só os arquiva

Como citar isto

Use-o comercialmente, mude-o, construa-o. A única condição é o crédito, e um link satisfaz-o.

O que você deve saber sobre estes dados

• Estas são pequenas empresas de conteúdo financiada por publicidade em duas redes de publicidade. Eles não são a web. Um editor sem rede de anúncios não está no quadro em tudo, e os grandes editores que cada outra figura publicada vem de se comportar completamente diferente.
• Um arquivo que não pôde ser obtido é um fato sobre uma firewall, não uma política. 180 os domínios que se recusaram são deixados fora do denominador em vez de contados como silenciosos.
• As categorias não são uma partição e não devem ser adicionadas. Um arquivo que bloqueia um rastreador que o teria citado também bloqueia pelo menos um rastreador, e muitas vezes carrega nomes que o modelo de outra pessoa escreveu. Adicionando- os dá um número maior do que a amostra.
• “Nenhum documento do fornecedor” não é “está morto”. Verificamos cada nome com a lista de rastreadores de sua suposta operadora. Documentos antrópicos ClaudeBot, Claude-User e Claude-SearchBot, e nenhum antrópico-ai nem claude-web está entre eles — mas nenhum vendedor publica um aviso de aposentadoria, então o que podemos mostrar é que um editor está nomeando algo que o operador não lista, não que nada responde a ele.
• Um marcador de vendedor diz que parte do ficheiro não foi escrita pelo editor. Não diz o AI regras em particular veio do vendedor — um bloco Yoast comumente contém n AI regras de todo.
• Os domínios são omitidos do download. O quadro, a semente e o método publicados permitem que a amostra seja redesenhada; a omissão não é uma garantia contra a reidentificação.

Como foi medida

1,200 os domínios foram sorteados uma vez a partir do 16,076 as duas redes publicam sobre si mesmas, classificadas por um hash de uma semente publicada e o nome do domínio, para que qualquer um possa redesenhar a mesma amostra. robots.txt num único passe completo; 1,020 resposta e 180 recusou- se ou não foi possível alcançar, e os que não puderam ser alcançados são excluídos do denominador em vez de contados como não dizendo nada, o que teria movido o título na direção que o lisonjeia. Cada arquivo foi então resolvido em vez de pesquisado: as regras que atingem um rastreador chamado na raiz do site, trabalhado pelas regras de agrupamento o robots.txt o padrão define, porque um arquivo que empilha trinta nomes de rastreadores acima de um bloco permissivo autorizou todos os trinta. As linhas estão na ordem em que a fonte as detém, que é alfabética por domínio com o domínio removido — independentemente de qualquer coisa medida, então qualquer sequência de linhas dele é uma fatia justa do todo.

O resumo

A primeira 60 de 1,020 linhas. O download tem todos eles. Livre de usar com crédito, comercialmente incluído.

O que significa cada coluna

rede

A rede de publicidade cuja lista de clientes publicada o domínio foi extraído de

nomes_ rastreadores

Quantas correntes AI rastejadores os nomes dos arquivos em tudo, se bloqueia ou não

blocks_crawlers

Quantos deles ele realmente bloqueia na raiz do site, uma vez que o arquivo é resolvido

nomes_tokens

Os rastreadores os nomes dos arquivos, separados por pontos e vírgulas

blocked_tokens

Os rastreadores os blocos de arquivos, separados por pontos e vírgulas

blocks_citation_crawler

sim quando pelo menos um rastreador bloqueado é um que busca uma página para responder a uma pergunta e links de volta

aposentado_tokens

Nomes no arquivo que nenhum fornecedor documenta atualmente, separados por pontos- e- vírgulas. Não é uma alegação de que o rastreador parou de ser executado — apenas que seu suposto operador não o lista

fornecedor_template

A ferramenta ou rede cujo bloco marcado aparece no arquivo, onde se faz

← Cada conjunto de dados