شرح ملف robots.txt وكيفية إعداده

المدونة > شرح ملف robots.txt وكيفية إعداده




شرح ملف robots.txt وكيفية إعداده
شرح-ملف-robots.txt-وكيفية-إعداده
إشترك في بوت التيليجرام الخاص بنا من أجل الحصول على آخر المقالات، إضغط هنا.

ما هو ملف Robots.txt وما عمله؟

باختصار شديد ملف Robots.txt هو ملف يتم انشائه على المجلد الرئيسي لموقعك والذي يقوم بدوره بتوجيه روبوتات وعناكب البحث للصفحات المهمة علي موقعك او الصفحات التي سيتم ارشفتها حيث يخبر هذا الملف عناكب البحث بان هذه الصفحات هي الاهم علي موقعك وهي التي سوف يتم ارشفتها, ويبعدهم ايضاً عن الصفحات غير المهمة والتي لايجب علي عناكب البحث ارشفتها واظهارها علي محركات البحث الخاصة بهم.


كيف يمكنك إنشاء ملف Robots.txt

  1. تقوم بإنشاء ملف نصي بصيغة txt على المجلد الرئيسي لموقعك بإسم robots ليكون اسم الملف الكامل هو robots.txt.
  2. نقوم بمليء الملف بالأوامر التي نريد اعطائها لمحركات البحث.


البدء في كتابة أوامر ملف Robots.txt

لنفرض وجود موقع رابطه الرئيسي هو www.gredev.net وهنالك صفحة تسمى blog

للدخول لهذه الصفحة تحتاج الانتقال الى هذا الرابط www.gredev.net/blog اليس كذلك؟

الأن نريد حظر محركات البحث من الدخول الى هذه الصفحة وأرشفة محتوياته، سنقوم بكتابة التالي داخل ملف Robots.txt:

User-agent: Googlebot
Disallow: /blog

السطر الأول نخبر بيه محرك البحث جوجل (تحديداً) بالأوامر التي تلي هذا السطر

السطر الثاني نخبر محرك البحث جوجل بعدم ارشفة الصفحة blog او محتوياتها الفرعية من خلال تعليمة Disallow

يمكنك أيضاً إستخدام علامة النجمة (*) للدلالة عن "الكل" فمثلاً تريد ان يتم تطبيق هذه التعليمات على جميع محركات البحث سوف تستخدم هذه العلامة بدل كلمة Googlebot ليصبح كالتالي:

User-agent: *
Disallow: /blog


أفضل الممارسات المتبعة في إعدادات ملف Robots.txt

الكود التالي يمكنك إستخدامه في موقعك من دون اي مشاكل (في حال اذا كنت لا تود حظر محركات البحث من ارشفة مسار معين):

User-agent: *
Allow: /

Sitemap: http://www.gredev.net/sitemap.xml

السطر الأول يوجه امر لجميع محركات البحث بتطبيق الأوامر التي بأسفله.

السطر الثاني يخبر محركات البحث بالسماح بأرشفة جميع الصفحات الموجودة في الموقع.

السطر الثالث من اهم الاساليب المتبعة لأرشفة الموقع بسرعة هو تقديم خريطة الموقع وهو من خلال استخدام تعليمة Sitemap ويليها رابط خريطة الموقع.

* يمكنك الرجوع الى هذه المقالة التي شرحنا بها موضوع خريطة الموقع بالتفصيل.


تطبيق هذه الممارسات فعلياً

لتطبيق هذه الممارسات تحتاج الوصول الى ملفات الموقع اما من خلال لوحة تحكم الموقع الرئيسية مثل cPanel او من خلال الإتصال بالموقع من خلال خدمة FTP. أما بالنسبة للمواقع التي تستخدم سكربت الـ WordPress فيمكنهم تنصيب إضافات للتحكم بهذا الملف مثل إضافة Virtual Robots.txt أو أي إضافة اخرى تقدم نفس الخدمة.


قم بطلب برمجة موقع الكتروني الأن
من خلال إختيارك لشركتنا، كن متأكداً من إن الموقع الإكتروني سيكون على الشكل الذي طلبته وافضل وذلك من خلال العمل الشاق الذي اعتدنا عليه لتقديم افضل خدمة لزبائننا والأفراد الذين يتعاملون مع شركتنا ويضعون ثقتهم فينا.

هل كانت هذه المقالة مفيدة ؟
نعم
كلا

التعليقات

يرجى مليء الحقول التالية بالبيانات الصحيحة من اجل إضافة تعليق الى الصفحة.