ما هو ملف robots.txt؟
ملف robots.txt هو ملف نصي يُوضع في جذر موقع الويب بهدف توجيه عناكب محركات البحث (مثل جوجل، بينج، وياهو) حول الصفحات التي يُسمح لها بفهرستها وتلك التي يجب تجنبها. تُستخدم هذه الأداة لتنظيم وصول روبوتات البحث إلى محتويات الموقع، مما يساعد في تحسين إدارة الظهور في نتائج البحث وحماية بعض المحتويات من الفهرسة غير المرغوبة.
أهمية ملف robots.txt
- حماية المحتوى الحساس: يمكن من خلاله منع محركات البحث من الوصول إلى صفحات معينة مثل صفحات تسجيل الدخول أو الصفحات المؤقتة.
- توفير الموارد: عند منع فهرسة صفحات غير ضرورية، تُوفّر موارد السيرفر ولا تُجهد عناكب البحث في استكشاف صفحات لا تضيف قيمة.
- تحسين تجربة المستخدم: من خلال توجيه محركات البحث للتركيز على المحتوى الهام فقط، يُمكن تحسين جودة نتائج البحث التي تظهر للمستخدمين.
كيف يعمل ملف robots.txt؟
يتكون الملف من تعليمات تُعرف بـ User-agent التي تحدد الروبوت المستهدف، وDisallow أو Allow لتحديد الأجزاء المسموح أو الممنوع فهرستها.
مثال بسيط على ملف robots.txt:
هذا المثال يمنع جميع عناكب البحث من الوصول إلى مجلدي admin و private.
نصائح عند استخدام robots.txt
- تأكد من وضع الملف في الجذر الرئيسي للموقع.
- استخدمه بحذر، لأن منع فهرسة صفحات مهمة قد يؤثر سلبًا على ظهور الموقع في نتائج البحث.
- لا تعتمد فقط على robots.txt لإخفاء المحتوى الحساس، لأنه يمكن للآخرين الوصول إليه بطرق أخرى.
أداة إنشاء ملف Robots.txt لـ Blogger
إعدادات Robots.txt
بشكل افتراضي، يُفضل منع فهرسة صفحات البحث في Blogger. هذا الإعداد يقوم بذلك.
Disallow: /search
/sitemap.xml أو /atom.xml?redirect=false&start-index=1&max-results=500
كيفية إضافة الملف إلى Blogger:
- اذهب إلى لوحة تحكم Blogger الخاصة بك.
- من القائمة الجانبية، اختر "الإعدادات" (Settings).
- مرر لأسفل حتى تجد قسم "برامج الزحف والفهرسة" (Crawlers and indexing).
- قم بتمكين "تفعيل محتوى ملف robots.txt مخصص" (Enable custom robots.txt).
- انقر على "محتوى ملف robots.txt مخصص" (Custom robots.txt).
- الصق المحتوى الذي تم إنشاؤه في الأعلى داخل المربع.
- اضغط على "حفظ" (Save).
ملاحظة هامة: كن حذرًا عند تعديل ملف `robots.txt`. الإعدادات الخاطئة قد تمنع محركات البحث من الوصول إلى مدونتك.