ماهو ملف الروبوت Robots.txt وكيفية استخدامه

ملف الروبوت

ملف الروبوت هو ملف نصي txt تكمن أهميته في كونه يُعطي عناكب البحث الأمر بالزحف لصفحات داخل موقعك وفهرستها أو الأمر بعدم الزحف وبالتالي فهو من يُقرر طبيعة حركة زواحف جوجل داخل موقعك.

كيف استطيع تحسين ملف الروبوت؟

عملية تنسيق وتحسين ملف الروبوت غير معقدة لأن المهم بالنسبة لك هو أن تكون متيقنا من عدم وجود عملية حظر لعناكب البحث من الوصول لصفحات مهمة أو وجود أوامر خاطئة تُصعّب عمل زواحف جوجل. ويمكنك محاكاة عمل ملف ال robots.txt من خلال هذه الأداة المجانية

مثلا منع الوصول إلى ملفات ال CSS هو خطأ شائع لأنك تمنع قراءة موقعك بشكل سليم من قبل روبوتات الزحف الخاصة بمحركات البحث. ولكي لا يكون الأمر معقدا استخدم طريقتي بأن لا تمنع محركات البحث من الوصول إلى أي جزء في موقعك كما يلي:

Robots-Allow

هناك حقيقة عليك معرفتها أن إضافة صفحات إلى robots.txt لا يمنع بعض محركات البحث من فهرستها وجوجل أحدها. ولإيقاف فهرسة صفحة ما بشكل مضمون، تحتاج إلى استخدام علامة noindex. مزيد من المعلومات من جوجل على noindex

وتجنب وضع كلا العلامتين معا noindex و nofollow لنفس الصفحة لأنك بذلك تعطي محركات البحث إشارتين متناقضتين إحداها تقول لا تقرأ الصفحة والثانية تقول أنه في هذه الصفحة يوجد علامة لا تؤرشف الصفحة، إذا كيف سيقوم بقراءة noindex الموجودة في الصفحة وانت تقول له لا تقرأ الصفحة من الأساس nofollow؟ وبالتالي هو خطأ شائع أيضا عليك تجنبه

حل مشكلة تعديل ملف الروبوت لدى شوبيفاي وبلوجر

 بعض منصات المتاجر الالكترونية ومنصات التدوين لا تسمح لك بتعديل ملف robots.txt وهذه تعتبر احدى مساوئ هذه المنصات مثل شوبيفاي و اكسباند كارت وبلوجر وغيرها.

لكن هناك حيلة استخدمها لبعض مواقع عملائي على هذه المنصات وهي بتحويل 301 لرابط ملف الروبوت من خلال كلاود فلير إلى مجلد مسموح الوصول إليه (مجلد الصور مثلا) ومن ثم التعديل عليه وجوجل يستطيع اعتباره ملف الروبوت الأساسي وبهذا تكون قد حلت المشكلة.

تضمين Sitemap (خريطة الموقع) في ملف الروبوت

خريطة الموقع هو ملف xml غالبا يوجد به فهرسة كاملة لموقعك، يضم جميع روابط الصفحات الخاصة بموقعك داخله لتسهيل عملية عناكب البحث في فهم هيكلية موقعك وتمييز الصفحات الرئيسية والفرعية وارتباطاتها ببعضها. يمكنك إعداد خريطة XML بنفسك أو عبر إضافات ووردبريس مثل إضافة Yoast SEO أو أدوات مثل Google XML Sitemaps

التطبيق الأفضل لتحسين محركات البحث من خلال خريطة الموقع هو إضافة فقط الصفحات التي تريد من محرك البحث أن يؤرشفها وليس كل الصفحات ولا يجب عليك إضافة صفحة فيها وسم noindex او nofollow أو صفحة تم تحويلها لصفحة أخرى 301 أو صفحة تم عمل Canonical منها لصفحة أخرى.

يعني أنه يجب أن يحتوي فقط الصفحات المهمة والتي ترغب بإبلاغ جوجل أنها الأهم في موقعك.

Robots Txt Sitemap

مواضيع قد تهمك أيضاً