مجموعة البيانات

الذي AI الزحف 1,020 اسم الناشرين الممولين على نحو مخصص ومسدسهم robots.txt

تاريخية robots.txt السياسات الواردة من 1,020 ملفات قابلة للقراءة في عينة مستمدة من 16,076- إطار العمل الرئيسي للشبكات الإعلانية، والعلامات المسمّاة، وقطع الموقع المحسومة، والأعلام التي تحمل اسماً تاريخياً، وعلامات نموذجية، هي ميادين منفصلة. 244 منهم يُسمّى الزحفات المقيّمة: 216 على الأقل واحد من الجذر 28 لا أحد من بين 244, 167 كما تحملت أعلاماً تحمل اسماً تاريخياً، وتصف هذه الملاحظات محتويات الملفات العامة، وليس القصد منها، والامتثال الفعلي للزواحف، والإحالة الضائعة، والتدريب النموذجي، أو الحصول على ترخيص. 2026-09-02:: توضيح الأوصاف والمسميات 2026-10-20.

• 16,076 المجالات التي يشملها الإطار
• 1,200 المجالات التي تم سحبها
• 1,020 الملفات القابلة للقراءة
• 9 AI الزحف حلت ضد كل واحد

التغطية

2026-09-02

آخر تحديث

2026-10-20

الترخيص

CC BY 4.0

DOI

10.5281/ zenodo.22280370

يا له من صف

ناشر واحد robots.txt ملف: AI يزحف أسمائه، الذي يحجبه في الواقع، والذي يحمل اسماً يحمله أنه لا توجد وثائق البائعين، ونموذجه مكتوب منه.

المواضيع

robots.txt, AI زحف GPTBot, ChatGPT-أوزر، كلود بوت، كليوبوت، Google-Extendedزاحف يغلق AI :: اختيار التدريب، والناشرين على شبكة الإنترنت، ولجنة مصائد الأسماك 9309

تحميل عينة البيانات العامة 1,020 الصفوف؟ 8 الأعمدة؛ CSV :: لا حساب، ولا بريد إلكتروني

اقرأي الاكتشاف الذي خرج منه هذا الناشرون يحجبون AI الزائر الذي كان ليرسل لهم قارئ على الأقل عشرة مرات أكثر من واحد الذي فقط يبعدهم

كيف نستشهد بهذا

استخدمه تجارياً، وغيّره، واعتمد عليه، والشرط الوحيد هو الائتمان، والربطة تشبعه.

ما يجب أن تعرفه عن هذه البيانات

• هذه هي الأعمال التجارية الصغيرة والممولة من الإعلان في مجال المحتوى في شبكتين إعلانيتين، وليست الشبكة، والناشر الذي ليس لديه شبكة إعلانات ليس في الإطار على الإطلاق، والناشرين الكبار الذين ينشرون كل رقم آخر يتكونون من تصرفات مختلفة تماما.
• الملف الذي لا يمكن جلبه هو حقيقة حول جدار الحماية وليس سياسة 180 أما المجالات التي رفضت، فتُترك خارج القاسم بدلاً من اعتبارها صامتة.
• وهذه الفئات ليست تقسيما ولا ينبغي إضافتها، بل إن ملفا يحجب الزحف الذي كان يمكن أن يشير إليه يحجب أيضا زحفا واحدا على الأقل، وكثيرا ما يحمل أسماء كتبها نموذج شخص آخر، ويعطي إضافة هذه الملفات عددا أكبر من العينة.
• " لا توجد وثائق للبائعين " ليست " ميتة " ، وقد راجعنا كل اسم على قائمة الزحام التي كان من المفترض أن يقوم بها المشغلون والمنشوعة.ai ولا توجد في هذه البلدان شبكة (كلود ويب) - ولكن لا يوجد بائع ينشر إشعارا بالتقاعد، لذا ما يمكننا أن نظهره هو أن الناشر يسمي شيئا لا يقوم به المشغل بالقائمة، وليس هناك ما يجيب عليه.
• يقول أحد المتعهدين أن جزءاً من الملف لم يكتبه الناشر ولا يقول AI فالقواعد تأتي بصفة خاصة من البائع - وهو حجر يوزه عادة ما لا يوجد فيه أي قواعد. AI القواعد على الإطلاق.
• ويُغفل البقايا من الحمولة، ويسمح الإطار والبذور والطريقة المنشوران بإعادة سحب العينة؛ فالإغفال ليس ضماناً من إعادة تحديد الهوية.

كيفية قياسها

1,200 تم سحب المجالات مرة واحدة من 16,076 والشبكتان تنشران عن نفسها، وتصنفان بذرة من البذور المنشورة واسم النطاق، بحيث يستطيع أي شخص إعادة سحب العينة نفسها، وجلب الزحف الليلي كل واحدة منها. robots.txt على بطاقة واحدة كاملة؛ 1,020 أجيبوا 180 ولا يمكن الوصول إليه أو رفضه، ولا يُستثنى من القاسم ولا يُحسب على أنه لا شيء، مما كان سينقل العنوان في الاتجاه الذي يُطغى عليه، ثم حُلّ كل ملف بدلاً من تفتيشه: القواعد التي تصل إلى زحف معين في صلب الموقع، التي وضعتها قواعد التجميع robots.txt ويحدد هذا المعيار، لأن ملفاً يحتوي على ثلاثين اسماً زحفاً فوق كتلة مسموح بها كل ثلاثين عاماً، ويصدر المصدر أمره، وهو أبجدي حسب المجال الذي أزيله - غير متصل بأي شيء يقاس، وبالتالي فإن أي طابور من الصفوف منه هو شريحة عادلة من الجميع.

الموجز

الأول 60 of of 1,020 الحمولة بها كلها حر في استخدام الائتمانات

ما يعنيه كل عمود

الشبكة

شبكة الإعلان التي نشرها العملاء قائمة بالمجال

الأسماء

كم عدد الحاليين AI يزحف اسماء الملف على الإطلاق سواء أكانت تمنعهم أم لا

اللبنات - الخنازير

كم واحد منهم يحجب في الواقع جذور الموقع بمجرد أن يحل الملف

أسمه (توكين)

الزحفات تُفصل أسماء الملفات عن طريق الشبهات

محاصرين

الزحفات التي تفصل بين الملفات و نصف اللون

كتلة - مقصود -

نعم عندما على الأقل زاحف واحد محجوب هو واحد الذي يجلب صفحة للإجابة على سؤال ووصلات العودة

متقاعد

الاسماء في الملف التي لا يوجد بها أي بائع وثائق حاليا، مفصولة من قِبل شبه كولونز، وليس ادعاء بأن الزحف توقف عن الركض - فقط أن مشغلها المفترض لا يُدرجها في القائمة.

بائع - زمالة

الأداة أو الشبكة التي يظهر فيها كتلة مميزة في الملف، حيث يوجد

* كل مجموعة بيانات *