الناشرون يحجبون AI الزائر الذي كان ليرسل لهم قارئ على الأقل عشرة مرات أكثر من واحد الذي فقط يبعدهم

بواسطه Plain Reckoner · 2,283 الكلمات؟ 10 مستكمل 2026-10-19

كل موقع لديه ملف نصي صغير robots.txtهذا يخبر الزائرين الآليين بما قد يقرأونه 1,020 ناشرون صغار ممولون من أجل الإعلان 11.9% كتلة ChatGPT-أوسر) ) -الذى يجلب صفحة من أجل الإجابة على شخص ما'السؤال والربط إلى الموقع - في حين 0.4% (أ) مبنى مكتب مراجعة الحسابات والتحقيقات - هيئة البحث، الذي لا يقدم سوى صفحات للبحث، وهذا فرق عشر مرات على الأقل، ولا يمكن للعينة أن تقول ما إذا كانت عشر مرات أو مائة مرة. 76.1% لا تقول شيئا AI زوار على الإطلاق، 29.9% ويحمل المورّد صياغة من الملفات بدلاً من القرار الذي يتخذه المالك. 106 الملفات وأعيد قياسها هنا في عشر مرات أكبر من العدد؛ وكل حصة محتفظ بها.

شاهدْه مؤامرةِ 65:: نفس الأرقام الواردة أعلاه

كل موقع على شبكة الإنترنت يحمل ملفاً صغيراً يُدعى robots.txtويجلس في مقدمة الموقع، ويمكن لأي شخص أن يقرأه، ووظيفته هي أن يخبر الزوار الآليين بأجزاء من الموقع الذي قد يجلبونه، وهؤلاء الزائرين الآليين يسمّون زحفاً، ويعطي كل منهم اسمه عند وصوله.

الناشرون الصغار لا يقررون ماذا AI الشركات قد تكون لها علاقة بمواقعها، ومعظمها لا يملك أي حكم على الإطلاق، ومن بين الذين يقومون بذلك، فإن العمل الوحيد الشائع هو منع الزحف الذي كان سيرسل لهم قارئ.

11.9% العينات ChatGPT-User. 0.4% المباني OAI-SearchBot.

هذان الزحفان ينتميان لنفس الشركة OpenAIمستندات خاصة تقول ChatGPT-User يستعمل "بالنسبة لبعض إجراءات المستخدمين ChatGPT GPTs"عندما يسأل المستخدمون سؤالاً "يمكن أن يزور صفحة على شبكة الإنترنت مع ChatGPT-عميل (أوسر )" - إنها الزيارة التي تحدث لأن شخص ما سأل سؤالاً إجابات صفحتكو هكذا ينتهي الجواب بحمل رابط لك OAI-SearchBot هو "مستخدمة في المواقع الشبكية السطحية في نتائج البحث ChatGPTملامح البحث"و من ذلك OpenAI يضاف ما يلي: "لنساعد على ضمان ظهور موقعك في نتائج البحث نوصي بأن نسمح لمكتب التحقيقات الفدرالي robots.txt ملف"

إذاً أحدهم يمكنه أن يرسل لك قارئ والآخر يبعدك عنا و يغلق الباب الأول بينما يسمح للثانية بالعكس

كم مرة أكثر، بالضبط

121 of of 1,020 الملفات ضد 4 of of 1,020غطّي هذه وتحصلين على 30وهذا أفضل تخمين وحيد ولا يوجد بالقرب من صلب كما يبدو، لأنه يقع على قاسم من أربعة ملفات.

لذا هنا ما يمكننا أن نقف خلفنا 1,020 الملفات، رسم 1,020 ويعودون عشوائيا مع تكرارات مسموح بها، ويحسبون الزحفين مرة أخرى، ويفعلون ذلك آلاف المرات، وهذا هو وسيلة للسؤال عما كان يمكن أن يقوله هذا القياس إذا تم اختيار ألف ناشر مختلف، ولا يفترض أي شيء عن التهمتين المتحركتين معا - وهما أمران يهمان، لأنهما يحصيان على نفس الملفات، وثلاثة مواقع من المواقع الأربعة التي تحجب OAI-SearchBot كتلة ChatGPT-User تسعة عشر مرة في عشرين، تهبط الإجابة بين 14.5 و 134- في مصباح واحد في خمسين، لا يوجد موقع على جميع المباني OAI-SearchBot والتعددية ليس لها نهاية قصوى.

الطريقة الثانية التي لا تتقاسم الافتراض الأول: معرفة كل نسبة من هذه النسبة وتقسيم الطرف المنخفض للنقطة الواحدة إلى الطرف الأعلى، وهذا أمر متعمد واسع للغاية، ويعطيها 9.9 إلى 127.

كل الطوابق خالية من 10 لذا الجملة الصادقة هي "على الأقل عشرة مرات أكثر"والنسبتان تحملان النتيجة أفضل من أي شيء آخر ما لن تفعله هذه الملاحظة هو الولاية 30× كما لو أنها قُسمت.

كيف تبدو العينة بأكملها

و بواسطة الزحف

العمود الأخير هو النطاق الذي يعرفه كل شخص حقاً، ولهذا السبب ينبغي قراءة الصفوف الأربعة السفلية على أنها "لا أحد"وليس كأمر

ما تغيرت إعادة القياس وما لم يحدث

وقد نُشر هذا لأول مرة 2026-09-01 من 106 منذ ذلك الحين، زحفنا يقرأ نفس الملف كل ليلة، لذا يمكن طرح السؤال نفسه مرة أخرى حوالي عشرة أضعاف عدد الناشرين دون أن يطلبوا من أي شخص أي شيء جديد.

لم يتغيّر شيء، إنّ الحصة الرئيسية - الناشرين الذين لا يملكون أيّ قاعدة - إنتقلت من 76% إلى 76.1%- الشكلان اللذان نقلا معظم صيغة المورد من 34% إلى 29.9% وحجب الزحف من 14% إلى 12.1%كلاهما نقلاً أقل من هامش الخطأ الأول في العينة، والذي كان على نطاق 8 نقاط.

ما حدث هو الدقة 106 (أ) الملفات التي كانت هذه الأسهم معروفة في غضون ثماني نقاط تقريباً؛ 1,020 هم معروفون في خلال اثنين أو ثلاثة.

والعدّة في قمة هذه الملاحظة قد اختفت، قرأت 15× — 15 ملفات 106 ضد 1 of of 106 - الذي هو التقسيم الصحيح للإحصاءات الصحيحة وما كان ينبغي طبعه، لأن القاسم كان ملفا واحدا. 1,020 ملفات تقدير النقطة 30 و المدى يمتد من حوالي 10 إلى اللقاء 100لذا 15 يجلس خارج ما تدعمه العينة الأكبر عدد الذين ينجوون من الانقسام بشكل صحيح لا يزال رقماً لا يجب أن يذكره أحد 1 of of 106 لديه مجموعة من 0% إلى 5%ولا يمكن أن تكون النسبة التي بنيت عليها تساوي رقمين هامين.

الشيك الذي كان علينا القيام به أولاً وكاد أن نخطئ

عينة أكبر فقط أفضل إذا كانت عينة من نفس الشيء.

زحفنا يعمل في قائمته على الأقل متجهة نحو المرمى أولاً، لذا القراءة "مهما كان الذي جمعه حتى الآن" عينة من أيّاً كان ما حدث، وهو ليس عشوائياً بالنسبة لأيّ شيء. 597 ملفات الناشرين حيث 597 هذا غير مرئي في المجموع، كان سينشر عملاء شبكة واحدة كقائمة كاملة

لذا هذا القياس لا يقرأ كل شيء في المتجر إنه يقرأ فقط 1,200 المجالات التي تم سحبها مسبقاً، مع إعطاء كل شبكة نصيبها من القائمة، والملفات التي تم جمعها في يوم واحد فقط عندما تكون جميعها 1,200 حوكم أحد عشر ملفاً آخراً في المتجر قابل للقراءة وخرجت لأنها ليست جزءاً من هذا الرسم AI الزحف، لذا بما فيهم كانوا ليضعوا العناوين الأمامية في الأعلى باستخدام الملفات التي لم يختارها شيء عشوائياً

الأمر يهم هنا أكثر مما هو عليه عادة، لأن الناشرين للشبكتين يختلفون اختلافا حقيقيا: 88% الملفات من أحدهم لا تقول شيئاً AI الزحف، ضد 60% ومن جهة أخرى، فإن إعادة الوزن بحيث تحصّل كل شبكة على حصتها من القائمة الكاملة، بدلا من حصتها من الملفات التي ردت علينا، تنقل كل رقم في الجدول أعلاه بأقل من نصف نقطة.

لماذا تظهر الأرقام بهذه الطريقة

ثلث الملفات تقريباً يحمل علامة على أن المورد كتب AI شبكة إعلانية تضع كتلة في ملفات ناشريها، أو ملصق (ووردبريس) يُنشئ قائمة، الناشر لم يختارها، وفي معظم الحالات لم يفلح أبداً في ما يفعله.

كما أن قوائم هذه النماذج لا تزال قائمة. 16.4% على الأقل زحف واحد لا يظهر في وثائق الشركة الحالية 2.3% ملف الملف فقط الأسماء التي لم تعد موجودة، مما يعني أنها لا تستبعد أي شيء على الإطلاق بينما تبحث، إلى أي شخص يفتحها، مثل سياسة.

الجزء الذي من السهل الحصول على الخطأ

تسمية الزحف لا تحجبه

ويُقرأ الملف في مبانٍ، حيث يُسمّى المساحات بخطوط أو أكثر، ويتبعها القواعد التي تنطبق عليها، ولا تبدأ القواعد إلا بعد انتهاء تشغيل الأسماء. 9309"تضعه بشكل واضح: "المبنى هو "واحد أو أكثر user-agent الخطوط التي يتبعها نظام أو أكثر، وينتهي الفريق من عمله user-agent خط أو نهاية الملف."

ملف يحتوي على ثلاثين اسماً زحفاً على قاعدة مسموح بها كل ثلاثين، يقرأ كحائط ويعمل كباب مفتوح 2.7% هذه العينة تفعل ذلك بالضبط مع زحف واحد على الأقل.

لهذا السبب تم تحديد الأرقام الواردة أعلاه بدلاً من حسابها. User-agent: GPTBot وكانت ستبلغ عن تلك الملفات بأنها صارمة إلى أقصى حد عندما تكون على العكس - وهي الخطأ الذي يقترفه أي شخص من ملفه عينا.

ماذا أفعل حيال ذلك، إذا أي شيء

هناك قرار حقيقي هنا و ليس هو الذي تتخذه النماذج

قفل الزحف أن جمع الصفحات لتدريب نموذج قرار يتعلق بترخيص عملكم، موادكم تستخدم لبناء نموذج، ولا تدفعون مقابله، والتراجع متماسك، 21.2% هذه العينة تتراجع

قفل الزحف أن إجابات على سؤال و وصلات خلفية إنه قرار بشأن حركة المرور، وهو يسير بطريقة أخرى، ولا يحمي مضمونك، ذلك المحتوى موجود بالفعل في مجموعات التدريب، أو لا، ما يفعله هو إخراجك من إجابة كانت ستسمّيك وترتبط بك.

مهما كنت تريد، الشيء الذي يستحق القيام به هو فتح الملف وقراءته كما الآلة، لدينا مكان واحد للقيام بذلك، وكذلك أي شخص آخر.

القيود

هذا هو 1,020 ملفات قابلة للقراءة، من عينة من 1,200 تم سحبها مع كلمة بداية ثابتة من قائمة 16,076 المجالات التي تنشرها شبكتان إعلانيتان كناشرين لها، وهي تصف الأعمال التجارية الصغيرة والممولة تمويلاً مخصصاً للمحتوى، ولا شيء آخر - الناشرين الكبار الموقعين عليها AI الصفقات تصرفت بشكل مختلف تماماً، وهي حيث يأتي كل رقم منشور آخر عن هذا الموضوع.

180 of the 1,200 لم نستطع قراءته، بل تُركت بدلاً من أن تُحسب على أنها تسمح بكل شيء، لأن رفضاً - رفضاً 403الذي 107 والحقيقة التي منحها إياها - هي وجود جدار حريق وليس سياسة، وحسابها بطريقة أخرى كان يمكن أن يحرك الخط الرئيسي في الاتجاه الذي يطغى عليه. 180 ويُجيب عادة على ملف فارغ؛ ويُترك هذا الملف أيضاً، على نفس القاعدة، أول قياس يستخدم، ويُعدُّه صمتاً بدلاً من ذلك، يضع الحصة الرئيسية في العنوان. 76.3% بدلاً من 76.1%.

القائمة التي رسمناها هي ناشرين على شبكة إعلانين وليس على شبكة الإنترنت الناشر الذي ليس لديه شبكة إعلانات

ما قسناه هو ما تقوله الملفات ليس ما سيحدث بعد ذلك

هذا يُعدّ قواعد مكتوبة في الملفات، ولا يُقيس ما إذا كان هناك أيّ قواعد. AI الشركة تطيعهم، وأحدهم يقول بوضوح أنه قد لا يكون كذلك.

OpenAIوثائق خاصة من أجل ChatGPT-Userاقرأ مرة اخرى 2026-09-02:

"عندما يسأل المستخدمون ChatGPT أو a CustomGPT a question, it may visit a web page with a ChatGPT-عميل (أوسر )" … "لأن هذه الإجراءات تبدأ من قبل مستخدم robots.txt ولا يجوز تطبيق القواعد."

وهذا يصف النتيجة، ومن الجدير أن يكون دقيقا حول الجزء الذي يلمسه، وما هو الجزء الذي لا يمسه.

إنه لا يغير النتيجة على الأقل عشر مرات كَتبَ الكثير مِنْ الناشرين قاعدة ضدّ الزحفِ الذي يَجْلبُ a صفحة للردّ على سؤالِ شخص ما على الذي يَضِعُ صفحاتَ بعيداً للتَفتيشِ، ذلك a حقيقة حول الذي في الملفاتِ، أغلب تلك الخطوطِ كُتبتْ بواسطة a صوم أو شبكة إعلانِ، وهو نفس الحقيقةِ في كلتا الحالتين.

إنه يغير ما يُستنتج منه لقد كتبنا أن حجب الزحف الأول يأخذ ناشراً من إجابة كانت سترتبط به، وإذا لم تطبق القاعدة، فإن هذه النتيجة أضعف مما تعنيه الجملة، والصيغة الصادقة: لقد كتبوا قاعدة تطلب التخلي عنها، وما إذا كان الطلب مقدّماً ليس شيئاً قيّمناه وليس شيئاً يمكننا رؤيته من ملف.

وحدتان أخريان من نفس الصفحة، وكلاهما يعترضان على القراءة أكثر مما ينبغي في أي من الرقمين:

"ChatGPT-لا يُستخدم (أوزر) لزحف الشبكة بطريقة تلقائية" "ChatGPT-لا يستخدم (أوسر) لتحديد ما إذا كان المحتوى قد يظهر في البحث"

إذاً، العميلان ليسا بسيئتين على هاتف واحد مقارنة كم من المرات يحجب كل منهما هو المقارنة الصحيحة

تحميل عينة البيانات العامة 1,020 الصفوف؟ CSV · CC BY 4.0 :: لا حساب، ولا بريد إلكتروني

متعقبة AIإذا كان هناك رقم هنا يبدو خاطئاً أخبرنا وسنتحقق من ذلك ضد المصدر