دليل كامل لفهم ملف robots.txt في WordPress

دليل كامل لفهم ملف robots.txt في WordPress

يعد Robot.txt أداة مهمة عندما يتعلق الأمر بتحسين محركات البحث لموقعك. عندما تنشر منشورًا، تزحف روبوتات محرك البحث إلى موقعك للفهرسة. ولتضمن أن موقعك أو منشورك يحتل مرتبة عالية في صفحات نتائج محرك البحث (SERPs)، فإنك تحتاج إلى تسهيل قيام “روبوتات” محرك البحث باستكشاف أهم صفحاته. وسيساعد ملف robots.txt حسن التنظيم في توجيه تلك الروبوتات إلى الصفحات التي تريدها أن تقوم بفهرستها. يشرح هذا المنشور هنا أهمية ملف Robots.txt لتحسين محركات البحث لديك، وكيفية إنشاء ملف robots txt لموقع WordPress الخاص بك!

ما هو ملف الروبوتات WordPress؟

يسمح لك ملف robots.txt، المعروف أيضًا باسم بروتوكول أو معيار استبعاد برامج الروبوت، بمنع محركات البحث من الوصول إلى ملفات ومجلدات معينة. أو إخبار روبوتات الويب (محركات البحث) بالصفحات التي تنشرها على موقعك للزحف إليها.

أهمية ملف Robots.txt لتحسين محركات البحث

كما هو موضح من قبل، يخبر ملف Robots.txt محركات البحث بالصفحات التي يجب الوصول إليها وفهرستها على موقع الويب الخاص بك والصفحات التي لا يجب الوصول إليها. على سبيل المثال، إذا حددت في ملف Robots.txt أنك لا تريد أن تتمكن محركات البحث من الوصول إلى صفحة الملاحظات الخاصة بك، فلن تتمكن هذه الصفحة من الظهور في نتائج البحث ولن يتمكن مستخدمو الويب من العثور عليه. يعد منع محركات البحث من الوصول إلى صفحات معينة على موقعك أمرًا ضروريًا لخصوصية موقعك وتحسين محركات البحث.

أين يقع robots txt في WordPress؟

يوجد هذا الملف بشكل عام في المجلد الجذر لموقعك. يمكنك عرض هذا الملف عن طريق الاتصال بموقعك باستخدام عميل FTP. يمكنك أيضًا القيام بذلك باستخدام مدير ملفات cPanel.

Where Is Robots Txt Located In Wordpress

هل أحتاج إلى ملف robots.txt في WordPress؟

بشكل افتراضي، يقوم WordPress بإعداد ملف robots.txt ولكن إن لم تجده وترغب في إجراء تغييرات عليه، فستحتاج إلى إنشاء ملفك الخاص وتحميله إلى مجلد الجذر الخاص بك كبديل.

كيف أقوم بإنشاء ملف robots txt؟

يعد إنشاء ملف robots txt لموقعك أمرًا سهلاً وبسيطًا للغاية

  • افتح Notepad أو Microsoft Word أو أي محرر نصوص
  • احفظ الملف باسم “robots” (تأكد من اختيار.txt كملحق لنوع الملف)
  • بعد ذلك، أضف سطري النص التاليين إلى ملفك:

user-agent: *

disallow:

“user-agent” هي كلمة أخرى للروبوتات أو عناكب محركات البحث. تشير علامة النجمة (*) إلى أن هذا الخط ينطبق على جميع العناكب. هنا، لا يوجد ملف أو مجلد مدرج في سطر Disallow، مما يعني أنه يمكن الوصول إلى كل دليل على موقعك. هذا ملف نصي أساسي لبرامج الروبوت.

يعد حظر عناكب محرك البحث من موقعك بالكامل أحد خيارات ملف robots.txt. للقيام بذلك، أضف هذين السطرين إلى الملف: (إذا كنت ترغب بعدم الزحف لكامل موقعك)

user-agent: *

disallow: *

تخبر الأسطر أعلاه جميع الروبوتات أنه لا يُسمح لها بالوصول إلى أي شيء في قاعدة البيانات وأدلة البرامج النصية أو الدلائل الفرعية.

ملاحظة: ضع في اعتبارك أنه يمكن استخدام ملف أو مجلد واحد فقط لكل سطر Disallow. يمكنك إضافة العديد من سطور Disallow حسب حاجتك.

تأكد من إضافة ملف خريطة موقع XML المألوف لمحرك البحث الخاص بك إلى ملف نصي الروبوتات. سيضمن ذلك أن العناكب يمكنها العثور على خريطة موقعك وفهرسة جميع صفحات موقعك بسهولة. استخدم بناء الجملة هذا:

Sitemap: http://www.mydomain.com/sitemap.xml

بمجرد الانتهاء، قم بحفظ وتحميل ملف robots.txt الخاص بك إلى الدليل الجذر لموقعك.

www.mydomain.com/robots.txt.

استخدام Yoast لإنشاء ملف robots.txt

تحتوي مكونات تحسين محركات البحث (SEO) مثل Yoast على خيار لإنشاء ملف robots.txt وتحريره من داخل لوحة معلومات WordPress الخاصة بك.

  • قم بتثبيت Yoast SEO وانتقل إلى صفحة الأدوات ضمن قائمة تحسين محركات البحث.
  • هنا يمكنك رؤية ملف robots.txt الخاص بموقعك على الويب / مدونتك.
  • إذا لم يكن لديك ملف robots.txt، فقم بإنشاء ملف عن طريق الضغط على زر إنشاء ملف robots.txt.

Use Yoast To Create A Robots.txt File

إذا كنت لا ترى خيارًا لمحرر الملفات، فذلك لأنك قمت بتشديد أمان WordPress. يمكنك تمكين خيار تحرير الملف عن طريق إزالة السطر التالي من ملف wp-config.php.

define('DISALLOW_FILE_EDIT'،true);

سيظهر ملف Robot.txt الحالي الخاص بك على النحو التالي:

user-agent: *

disallow:

إذا كنت تستخدم All in One SEO، فافتح صفحة مدير الميزات في لوحة المعلومات الخاصة بك. في الداخل، ستجد خيارًا يسمى Robots.txt، مع زر تنشيط واضح أسفله مباشرةً.

مواضيع قد تهمك أيضاً