شرح ملف robots.txt في المواقع
 |
| شرح ملف robots.txt |
ما هو ملف robots.txt وما أهميته وكيفية أستخدامه؟
إذا كنت صاحب موقع أو مهتم بتصميم المواقع، لابدّ أنك سمعت عن ملف robots.txt. فما هو هذا الملف وما دوره ؟ هذا ما سنتحدث عنه في هذا المقال.
ما هو ملف robots txt المستخدم ؟
الـ robots.txt هو عبارة عن ملف نصي يوجد على مستوى الجذر الرئيسي لموقع الإلكتروني، ويعمل على توجيه محركات البحث حول كيفية الوصول إلى صفحات ومحتوى الموقع. يستخدم هذا الملف لتحديد القواعد والتوجيهات لمحركات البحث بشأن الصفحات التي يجب عليها فهرسة وعرضها في نتائج البحث.
عندما تزور عناكب البحث موقعًا جديدًا، يبحثون عن ملف الـ robots.txt في الجذر الرئيسي للموقع لمعرفة القواعد التي يجب اتباعها. حيث يعتبر هذا الملف أداة توجيه مهمة لمساعدة محركات البحث في فهرسة الموقع بشكل صحيح وتجنب الوصول إلى صفحات غير مرغوب فيها أو حماية محتوى خاص.
يتكون ملف robots.txt من تعليمات محددة لعدة وكلاء (user-agents)، وهي البرامج التي تنفذ المهمة التي يقوم بها محركات البحث. يمكنك تحديد مسارات الملفات والدلائل التي ترغب في منع أو السماح لمحركات البحث بالوصول إليها باستخدام تعليمات مثل "Disallow" و "Allow".
ببساطة يمكن القول ان الـ robots.txt هو أداة توجيه لمحركات البحث.
ملف robots.txt بسيط يتضمن قاعدتَين:
User-agent: Googlebot
Disallow: /nogooglebot/
User-agent: *
Allow: /
Sitemap: https://www.example.com/sitemap.xml
ملف robots.txt يمكن استخدامه على منصة وردبريس:
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://www.example.com/sitemap_index.xml
Sitemap: https://www.example.com/news-sitemap.xml
شرح العبارات المستخدمة في ملف robots.txt:
الـ User-agent: * يعني أن هذه القواعد تنطبق على جميع محركات البحث.
الـ Disallow: /wp-admin/ يمنع محركات البحث من فهرسة أي صفحات توجد في دليل wp-admin.
الـ Disallow: /wp-includes/ يمنع محركات البحث من فهرسة أي صفحات توجد في دليل wp-includes.
الـ Allow: /wp-includes/js/ يسمح لمحركات البحث بالوصول إلى ملفات JavaScript الموجودة في دليل wp-includes/js.
كيفية معرفة robots.txt المواقع الأخرى ؟
يمكن التعرف على ملف robots.txt بسهولة لأي موقع من خلال إضافة كلمة robots.txt بعد رابط الموقع.
نموذج: https://www.example.com/robots.txt
هل تحتاج إلى ملف robots txt ؟
لا ليس ضروري، استخدام ملف robots.txt. فهو غير مطلوب لموقع ويب . حيث بتمثل دوره في تنظيم وتوجيه محركات البحث حول كيفية الوصول إلى صفحات ومحتوى الموقع .