في هذه المقال سنشرح ما هو ملف robots.txt وما أهميته؟ وكيفية إعداد ملف Robots.Txt بالطريقة الصحيحة ومعرفة سبب منع صفحات معينة من البحث.
ما هو ملف robots.txt؟
باختصار ملف "Robots.Txt" هو ما يخبر عناكب محركات البحث بالصفحات التي يجب الوصول إليها وفهرستها على موقع الويب الخاص بك والصفحات التي لا يجب الوصول إليها.
على سبيل المثال، إذا حددت في ملف robots.txt أنك لا تريد أن تتمكن محركات البحث من الوصول إلى صفحة معينة، فلن تتمكن هذه الصفحة من الظهور في نتائج البحث.
يعد منع عناكب محركات البحث من الوصول إلى صفحات معينة على موقعك باستخدام ملف robots.txt أمرًا ضروريًا لخصوصية موقعك وتحسين محركات البحث.
كيف يعمل ملف robots.txt؟
ترسل محركات البحث برامج صغيرة تسمى "العناكب" أو "الروبوتات" للبحث في موقعك وإعادة المعلومات إلى محركات البحث بحيث يمكن فهرسة صفحات موقعك في نتائج البحث والعثور عليها بواسطة مستخدمي الويب.
يوجه ملف Robots.txt الخاص بك هذه البرامج إلى عدم البحث في صفحات موقعك التي تحددها باستخدام أمر "عدم السماح".
ما أهميته ملف Robots.txt ولماذا يجب حظر بعض الصفحات؟
ملف robots مهم لأى موقع ويب لتحسين محركات البحث لفهرسة صفحات الويب وطرحها للباحثين وأيضاً تُعد أهميته الرئيسية في حظر بعض الصفحات وفهرسة البعض الآخر، وهناك عدة أسباب لحظر صفحة باستخدام ملف Robots.txt:
- إذا كان نسخة مكررة من صفحة أخرى، فأنت لا تريد أن تقوم الروبوتات بفهرستها لأن ذلك قد ينتج عنه محتوى مكرر يمكن أن يضر بـ SEO الخاص بك.
- إذا كان لديك صفحة على موقعك لا تريد أن يتمكن المستخدمون من الوصول إليها ما لم يتخذوا إجراءً محددًا.
- صفحات الأرشيف، أو صفحات بها معلومات محددة لا تريد ظهورها بمحركات البحث والعثور عليها.
في كل هذه الحالات، ستحتاج إلى تضمين أمر في ملف robots.txt يخبر عناكب محركات البحث بعدم الوصول إلى تلك الصفحات، وعدم فهرستها في نتائج البحث، وعدم إرسال زوار إليها.
كيفية إنشاء ملف Robots.Txt
من خلال إعداد حساب مجاني لأدوات مشرفي المواقع من Google، يمكنك بسهولة إنشاء ملف robots.txt عن طريق تحديد خيار "وصول الزاحف" ضمن خيار "تكوين الموقع" في شريط القائمة. بمجرد وصولك إلى هناك، يمكنك تحديد "انشاء ملف robots.txt" وإعداد ملف robots.txt مخصص.
User-agent: Mediapartners-GoogleDisallow:User-agent: *Disallow: /searchAllow: /sitemap: https://www.example.com/sitemap.xml
User-agent: *Disallow: /wp-admin/Allow: /wp-admin/admin-ajax.phpDisallow: /wp-includes/Allow: /wp-includes/js/Allow: /wp-includes/images/User-agent: Mediapartners-Google*Allow: /User-agent: Googlebot-ImageAllow: /wp-content/uploads/Sitemap: https://www.example.com/sitemap.xml
طريقة إعداد ملف robots.txt
بمجرد حصولك على ملف Robots.txt، يمكنك تحميله على المدونة. قم بتسجيل الدخول إلى لوحة تحكم بلوجر ثم الإعدادات:
- انقر فوق عنصر قائمة الإعدادات على الشريط الجانبي.
- قم بالتمرير في صفحتك إلى قسم "برامج الزحف والفهرسة".
- تحقق من تفعيل ملف مخصص يجب أن يكون زر التبديل مفعل باللون الأخضر كما بالصورة التالية.
- أضغط علي "ملف robots.txt مخصّص" سيظهر لك مربع حوار قم بإضافة ملف robots.txt داخل المربع.
- بعد الانتهاء من إضافة ملف robots.txt اضغط على "حفظ".
اختبار ملف Robots.txt
بعد تركيب ملف robots.txt، يجب التأكد من أنه خالي من الأخطاء والتحذيرات ويعمل بشكل صحيح على موقع الويب الخاصة بك
- عند الدخول لاختبار الملف يجب التسجيل بنفس الحساب الخاص بالمدونة أو الموقع.
- يجب أن يظهر اختبار ملف robots.txt كما بالصورة التالية (0 من الأخطاء 0 من التحذيرات).
أذا ظهر لك أي شيء بخلاف اللي في الصورة وأعطاك الاختبار أخطاء أو تحذيرات فاعلم أنك قمت بعمل شيء خطأ، تأكد من أنك قمت بوضع ملف robots.txt بالطريقة الصحيحة ولا تقم بتغير أي شيء بالملف ولا تعطي مسافات بين الكلام بخلاف الموجود واذا ظلت المشكلة قائمة راسلني وسنقوم بحل المشكلة بإذن الله.
بعد إضافة الملف يجب ضبط علامات الرؤوس بالطريقة الصحيحة، وبعد ذلك التوجه إلى مشرفي المواقع جوجل كونسول لإضافة ملف Sitemap.xml.
سعدنا بوجودك 😍 شكراً لك اترك تعليقك بمدى أستفادتك من المحتوى دعمنا لنا وسيتم الرد عليك في أقرب وقت. يسعدنا دائماً اقتراحاتكم بخصوص المحتوى وأذا كان لديك أى أستفسار لاتترد بالتعليق أو المراسلة عبر صندوق البريد.