كيفية إنشاء اداة توليد ملف Robots.txt SiteMap وفوائده لموقعك
مقدمة عن ملف robots.txt
ملف robots.txt هو ملف نصي بسيط يوضع في الدليل الجذري لموقعك
(مثل https://example.com/robots.txt)
يستخدم لتوجيه زواحف محركات البحث
(مثل Googlebot)
حول الصفحات أو الملفات التي يمكن أو لا يمكن زحفها على موقعك.
وهذا الملف يلعب دورًا حاسمًا في تحسين محركات البحث (SEO) وإدارة كيفية فهرسة موقعك.
طريقة إنشاء ملف robots.txt خطوة بخطوة
1. فتح محرر نصوص
ابدأ باستخدام أي محرر نصوص بسيط مثل:
- Notepad (لنظام Windows)
- TextEdit (لنظام Mac)
- أي محرر أكواد متقدم مثل Visual Studio Code أو Sublime Text
2. إنشاء الملف الجديد
أنشئ ملفًا جديدًا واحفظه باسم robots.txt (يجب أن يكون بالضبط بهذا الاسم).
3. فهم بنية الملف الأساسية
يتكون ملف robots.txt من عدة أقسام رئيسية:
User-agent: [اسم الزاحف] Disallow: [مسار ممنوع] Allow: [مسار مسموح] Sitemap: [رابط خريطة الموقع]
4. إضافة التوجيهات الأساسية
للمدونات (Blogger):
User-agent: * Disallow: /search Disallow: /p/ Disallow: /?m=1 Sitemap: https://yourblog.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500
لمواقع WordPress:
User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/ Sitemap: https://yourwebsite.com/sitemap.xml
5. إضافة توجيهات إضافية حسب الحاجة
يمكنك إضافة أي مسارات أخرى تريد منع الزحف إليها، مثل:
- صفحات الإدارة
- الملفات المؤقتة
- صفحات البحث الداخلية
- أي محتوى تكراري أو غير مهم
6. حفظ الملف
احفظ الملف بالاسم الصحيح robots.txt (بدون أي إضافات أخرى).
7. رفع الملف إلى الخادم
يجب وضع الملف في الدليل الجذري لموقعك (المستوى الأعلى). يمكنك استخدام:
- FTP (مثل FileZilla)
- لوحة تحكم الاستضافة (cPanel)
- أداة إدارة الملفات المباشرة
8. اختبار الملف
استخدم أدوات مثل:
- Google Search Console (أداة اختبار robots.txt)
- أدوات التحقق من صحة robots.txt المتاحة online.
فوائد استخدام ملف robots.txt
1. تحسين زحف الموقع (Crawl Budget Optimization)
يساعد في توجيه زواحف محركات البحث إلى الصفحات المهمة فقط، مما يحسن كفاءة الزحف.
2. منع فهرسة المحتوى غير المرغوب فيه
يمنع فهرسة الصفحات التي لا تريد ظهورها في نتائج البحث مثل:
- صفحات الإدارة
- صفحات البحث الداخلية
- النسخ المكررة من المحتوى
- الملفات المؤقتة
3. تحسين الخصوصية والأمان
يمنع الوصول إلى المجلدات الحساسة التي قد تحتوي على معلومات مهمة.
4. تحسين أداء الموقع
بتقليل عدد الصفحات التي يتم زحفها، يقل الحمل على الخادم.
5. توجيه محركات البحث إلى خريطة الموقع
يسهل عملية الفهرسة من خلال الإشارة إلى موقع ملف sitemap.xml.
مميزات الكود المقدم في المثال
الكود المقدم في المثال يتميز بـ:
- واجهة سهلة الاستخدام: تسمح للمستخدمين بإنشاء ملف robots.txt دون الحاجة لمعرفة تقنية متقدمة.
- التخصيص حسب المنصة: يوفر قوالب جاهزة لكل من Blogger وWordPress.
- إضافة Sitemap تلقائيًا: يضمن تضمين رابط خريطة الموقع بشكل صحيح.
- إمكانية النسخ التلقائي: زر "نسخ إلى الحافظة" يسهل عملية نقل الكود.
- تأثيرات بصرية: تأثير الكتابة يجعل الواجهة أكثر تفاعلية.
نصائح متقدمة لملف robots.txt
1. استخدم التعليقات
يمكنك إضافة تعليقات في الملف باستخدام # لشرح التوجيهات:
# منع زواحف جميع محركات البحث من صفحات الإدارة User-agent: * Disallow: /admin/
2. تحديد زواحف معينة
يمكنك تخصيص قواعد لزواحف محددة:
User-agent: Googlebot
Disallow: /private/
User-agent: Bingbot
Disallow: /temp/
3. استخدام wildcards
بعض محركات البحث تدعم الرموز العامة مثل * للمطابقة:
Disallow: /*.pdf$ # منع جميع ملفات PDF
4. السماح بالوصول رغم المنع العام
Disallow: /images/ Allow: /images/public/
5. تجنب الأخطاء الشائعة
- لا تترك مسافات بعد
: - استخدم
/في بداية المسارات - حافظ على حساسية الأحرف (Case Sensitive).
ملاحظة مهمة
ملف robots.txt ليس أداة حماية. يمكن لأي شخص زيارته ومعرفة أجزاء موقعك التي تريد إخفاءها. لا تستخدمه لإخفاء المعلومات الحساسة.
الخاتمة
إنشاء ملف robots.txt بشكل صحيح هو خطوة أساسية في تحسين موقعك لمحركات البحث. الكود المقدم في المثال يسهل هذه العملية للمبتدئين مع توفير الوظائف الأساسية التي يحتاجها أي موقع.
و باتباع الإرشادات أعلاه، يمكنك التحكم بشكل فعال في كيفية زحف محركات البحث لموقعك، مما يسهم في تحسين ظهورك في نتائج البحث وحماية المحتوى الحساس.
تذكر دائمًا اختبار ملف robots.txt بعد أي تعديل، ومراجعته دوريًا لضمان مواكبته لأية تغييرات في هيكل موقعك.
