يتساءل مستخدمي wordprsse عن ملف روبوت ووردبريس وأفضل ملف robots.txt وكيفية تركيبه. ولكن يجهلون القيمة الحقيقية لهذا الملف. وقبل أن نخوض في شرح robots.txt وآلية عمله ونغوص في أعماقه لتفنيد خصائصه، لابد أن نعرف إن لكل عملية بحث رصيد من الموارد، وحفاظًا عليها من الهدر، جاءت الرغبة في تحديد تفاعل زواحف الشبكة مع المواقع المنتشرة عليها. وهنا كان ملف روبوت هو الحل الأمثل لاستبعاد الروبوتات المتفاعلة مع موقعك، وتقيد وصولها إلى مناطق مخصصة فيه، كما أن من المهم معرفته ما تعنيه كلمة روبوت في هذا المجال. مع العلم أن الروبوتات برامج لزيارة واستكشاف مواقع الإنترنت لمساعدتها في فهرسة وترتيب مليارات الصفحات على الويب. لذا تعتبر الروبوتات كائنات رقمية ضرورية للعمل على الويب. لكن هذا لا يعني أن يسمح لهذه الروبوتات بالتجول في أرجاء الشبكة من دون أي قيود، ليأتي دور ropots.txtليكون الخيار الأمثل لضبط حركة الروبوتات وتقييدها. ولمعرفة المزيد عن ملف روبوت ووردبريس أفضل ملف robots.txt وكيفية تركيبه. تابع معنا.
كيف تعمل محركات البحث وتتعامل مع ملف ropots.txt
لفهم ألية عمل محركات البحث علينا معرفة وظائفها الأساسية التالية:
- الزحف crawl: التجوال في الإنترنت لاستكشاف المحتوى المطلوب، حيث ترسل مجموعة من الروبوتات بحثًا عن هذا المحتوى بمختلف الصيغ المنتشرة على الشبكة
- الفهرسة index: عندما تعثر روبوتات محركات البحث على المعلومات ذات الصلة ببحثك، تعالجها وتخزنها ومن ثم تقوم بفهرستها، لتسهيل الوصول لها من الباحث.
- الترتيب ronk: عند قيام أي مستخدم بالبحث على الشبكة، تسارع محركات البحث باستعراض فهرسها، لاكتشاف محتوى له صلة قريبة من عنوان بحث المستخدم، وتعرض النتائج حسب أولويتها.
حيث تقوم محركات البحث بقراءة ملف ropots.txt، ومن ثم توجيه الروبوتات والعناكب إلى موقعك. لتنفيذ خطواتها السابقة حسب نص الملف وتعليماته، بزيارة الصفحات المسموحة Disallow، وغض النظر عن الصفحات الممنوعة Allow.
هو مجموعة أكواد برمجية تم تحريرها كمستند نصي بسيط، يعمل على إعلام محركات البحث عن سبل الزحف إلى صفحات موقع صاحب robots.txt، وفهرستها، ومن ثم تخزينها باسم مجلد الموقع الرئيسي على الشبكة. وبالتالي توجيه الروبوتات إلى الصفحات الواجب إهمالها، ولا بد من التذكير بأن الروبوتات قد لا تلتزم ببعض القواعد والتعليمات الموجودة في نص الملف روبوت، ويعتبر الشكل التالي هو الأساسي لملفropots.txt .
[user-agent name ] User-agent:
[url string not to be crawled ] Disallow:
[user-agent name ] User-agent:
:[url stsing to be crawlid ] Allow:
[url of your xml site map]
Html
copy
كيف يعمل ملف robots.txt
يوجه ملف robots.txt محركات البحث إلى كيفية الزحف بتجاه الصفحات المحددة على موقعك، حيث يسمح أمر التوجيه (user-agent command)، بإدارة بعض الروبوتات والسيطرة على توجيهها. ورغم وجود العديد من وكلاء المستخدم، سنستعرض بعض الأمثلة لأشهر خياراتهم، مفترضين أنك ستستهدف Google أو Bing ليكون التوجيه على الشكل التالي:
User-agent: Google bot user-agent: Google bot-Image user- agent
Google bot- Mobile user-agent: Google bot-news user-agent
Bing bot user- agent: baidu spider user-agent: msn bot user -agent: yandex .
كيف تجد ملف robots.txt خاصتك
إن ملف روبوت تكست، يقع بشكل دائم ضمن الجذر root domain لمعظم مواقع الويب. وجاءت ضرورة تحديد مكان robots.txt من حاجة الوصول إليه لتعديله عن طريق بروتوكول ناقل الملفات (FTP) أو بالوصول إلى Fail Manger من لوحة التحكم للمضيفين لديك (Hosts capanel). حيث تستطيع الوصول إلى الملف في منطقتك الإدارية Administrative وإن كنت من مستخدمي وورد بريس، ويمكنك العثور على الملف في المجلد (public-Html) للموقع.
معظم مواقع ووردبريس، يفضلون القيام بتسريع عمليات الزحف، لتسهيل وصول الروبوتات إلى المحتوى المقصود. وقد تم تجميع ملف robots.txt ليكون بداية انطلاقة مميزة لمستخدمي wordpress، وذلك بحظر الأمور التالية:
- حظر مجاد الأدمن Disallow:/wp – admin
- منع أية رابط يحيلك إلى البرامج التابعة / إحالة Disallow:/.
- حظر الصفحات غير المرغوب فيها Spammy-page/ Disallow:/
- حجب الصفحات ذات المحتوى المتكرر/ تكرار المحتوى Disallow: /.
- حظر الصفحات غير المهمة Disallow:/low-quality-page/.
- لمنع أخطاء 404 soft نستخدم هذه الدالة =s?/ لحظر صفحات البحث.
- لإيقاف الزحف للموقع بأكمله user-agent: *disallow:/.
- لإيقاف الزحف إلى دليل معين user-agent: *disallow:/calendar/disaiiow:/junt/.
وبعض الأوامر التي جمعناها في هذا الملف غير مقيدة للمستخدم. فهو يستطيع تحريرها حسب رغبته في أي وقت يشاء. وللتذكير يجب الحذر عند إجراء أي تغيير في هذا الملف، لما يسببه من فوضى بترتيب أولويات محركات البحث. ولا بد من التنويه أن الغاية من الروبوت التسريع للموقع وليس التعقيد.
لماذا يجب الاهتمام بملف. robots.txt
تتفرع مزايا ملف robots.txt المصاغ بعناية إلى فئتين: واحدة تقوم بتحسين إمكانيات الزحف لروبوتات محركات البحث، من خلال توجيهها إلى عدم تضييع الوقت على الصفحات التي لا ترغب في فهرستها. والثانية، تقوم بتحسين الخادم الخاص بموقعك، بحظر الروبوتات لتقليص استهلاك الموارد. وربما تكون النتائج غير مضمونة، عند ضعف صياغته. كون ملف robots.txt لا يطالب محركات البحث بعدم فهرسة محتوى الموقع، بل يطلب عدم الزحف إليه فقط.
كيفية إنشاء وتحرير ملف robots.txt
يلجأ ووردبريس عادةً إلى تشكيل ملف robots.txt بشكل تلقائي لموقعك، أي أنه موجود بشكل افتراضي. وحيث أنك لا تستطيع تعديل هذا الملف بشكل مباشر. ويمكنك إنشاء ملفك الخاص على مخدمك، وتعديله كيفما شئت عند الحاجة. وفيما يلي شرح مبسط لآلية إنتاج وتحرير ملف robots.txt:
- توجه إلى محرر النصوص notepad أو textedit أو word وأفتح مستند جديد، دون التعليمات التي ترغب في تنفيذها، واحفظ مستندك هذا باسم robots.txt. ومن ثم حمل هذا الملف على مخدمك باستخدام (FTP).
- وفيما يخص مستخدمي ووردبريس، يمكنهم استخدام إحدى المكونات الإضافية مثل (YOAST)، أو (ALL IN ONE SEO)، أو (RANK MATH).
تمتاز معظم الروبوتات بالسمعة الطيبة، كونها تحترم الأكواد المسجلة ضمن ملف robots.txt، إلا أن بعضها يفهمها بشكل مختلف. كما أن البعض من مرسلي الرسائل غير المرغوبة ومثيري المتاعب يتجاهلونها. ولا يبقى أمامنا، إلا أن نصحك باستخدام كلمة مرور، ورقم سري لحماية المحتوى السري لموقعك.