PlainReckonerBot

Si lo encontraste PlainReckonerBot en su registro de acceso, esta página es lo que es. Es operado por este sitio. Se reproduce tres archivos públicos, una vez al día, y nada más.

Lo que pide

• /robots.txt — el archivo que dice qué visitantes automatizados pueden leer qué partes de su sitio web. Lo leemos para averiguar si podemos ver su página de inicio en absoluto.
• /ads.txt — el archivo que nombra a las empresas permitidas vender espacio de anuncios en su sitio
• Su página web, sólo si tu robots.txt lo permite

Esa es toda la lista. No sigue enlaces, solicita imágenes, scripts o hojas de estilo, busca cualquier cosa detrás de un login, o visita cualquier página que no sea tu raíz.

¿Con qué frecuencia y qué tan suave

• Una vez al día a lo sumo, y generalmente menos.
• Una petición a la vez, con una pausa entre cada uno. Nunca en paralelo.
• Si no te alcanzamos cuatro veces seguidas, dejamos de preguntar.
• Si tu robots.txt establece un Crawl-delaySi pone más de treinta segundos, saltamos su sitio durante el día en lugar de fingir que el número era para alguien más.
• Si su servidor responde con el código que significa "demasiados pedidos" — 429 - nos retiramos, es la respuesta Google le dice a los dueños del sitio que usen cuando quieren que un rastreador desacelere, por lo que lo tratamos como la instrucción que es más que como un error para empujar pasado.
• Si tu robots.txt no se puede leer en absoluto — sus errores del servidor, tiempos fuera, o rechaza la conexión— no buscamos nada más de usted ese día. El estándar que rige estos archivos, RFC 9309, dice en §2.3.1.4 que un rastreador en esa posición DEBE asume que no se permite buscar nada, y un servidor que tiene un mal minuto no es permiso.

Esa última es la regla que más rastreadores saltan silenciosamente, porque esquiar es invisible y no cuesta nada. Publicamos hallazgos sobre cómo se configuran los archivos de otras personas; ser casual acerca de un requisito en el documento que citamos no sobreviviría a la primera persona que lo comprobó.

Por qué?

Estos archivos cambian sin decirle a su propietario. Una actualización de plugin reescribe a robots.txt y bloquea el rastreador que te estaba mandando lectores. ads.txt Las reestructuraciones de la red y la entrada de su vendedor desaparecen. Nada de eso aparece en Search Console, en su análisis o en el panel de control de su red de anuncios.

Ver los archivos públicos día a día es cómo le decimos a los editores lo que cambió, y cómo midemos lo que está sucediendo a este mercado en su conjunto. Todo lo que encontramos es publicado libre, con su método y su fecha.

Lo que guardamos

Tu robots.txt y ads.txt se guardan como se sirvieron, porque en esos dos casos el archivo es el hallazgo - una reclamación sobre lo que su ads.txt dice que sólo es verificable si todavía tenemos lo que dijo.

Su página web no se mantiene. Se recoge, se lee por una cosa —que red de anuncios está funcionando— y se descarta. Lo que se almacena es esa respuesta y el puñado de nombres de host que la produjeron, que es alrededor de cien bytes en lugar de doscientos kilobytes. Tenemos una pregunta para su página de inicio; mantener toda la página después de responder sería recoger algo que no tenemos uso para, y este sitio no hace eso.

Nada de tus lectores se almacena, porque nada de tus lectores se ve jamás atrapado. No hay login, no hay forma, no hay página debajo de la raíz.

Cómo detenerlo

Dos maneras, y cualquiera es suficiente.

Bájalo en tu robots.txt. Resolvemos su archivo antes de pedir su página web, y lo honramos:

User-agent: PlainReckonerBot
Disallow: /

Eso nos impide leer tus páginas. robots.txt y ads.txt, porque ambos existen específicamente para ser leídos por clientes automatizados - un ads.txt que ningún rastreador puede conseguir que no autorice a nadie. Si prefieres que no leamos esos tampoco, usa la segunda manera.

Envíenos un correo electrónico y lo eliminaremos por completo. contact@plainreckoner.com — diga qué dominio, y eso es todo lo que necesitamos. Es una eliminación manual que nada automatizado puede deshacer, y no le pedimos que lo justifique.

De dónde viene la lista

Redes de anuncios cada una publica un archivo, sellers.json, nombrando a cada editor que se les permite vender. Esos archivos son públicos, y las redes son necesarias para publicarlos. Nuestra lista de dominios se construye de esos archivos, lo que significa que cada sitio que miramos ya ha sido publicado como parte de este mercado por su propia red de anuncios.

Acerca de este sitio