“Blocked by robots.txt” هو حالة أداة مشرفي المواقع. يشير هذا إلى أن محرك بحث Google لم يزحف إلى عنوان URL الخاص بك لأنك حظرته باستخدام أمر Disallow في ملف robots.txt. وهذا يعني أيضًا أن عنوان URL لم تتم فهرسته.
يكمن إصلاح هذه المشكلة في صميم إنشاء استراتيجية زحف وفهرسة صحية لموقعك على الويب.
كيفية إصلاح “Blocked by robots.txt”
تتطلب معالجة هذه المشكلة نهجًا مختلفًا استنادًا إلى ما إذا كنت قد حظرت صفحتك عن طريق الخطأ أو عن قصد.
دعني أرشدك حول كيفية التصرف في هاتين الحالتين:
عند استخدام الأمر Disallow عن طريق الخطأ
في هذه الحالة، إذا كنت تريد إصلاح “Blocked by robots.txt”، إزالة التوجيه Disallow الذي يحظر الزحف إلى صفحة معينة.
بفضل ذلك، من المحتمل أن يزحف Googlebot إلى عنوان URL الخاص بك في المرة التالية التي يزحف فيها إلى موقع الويب الخاص بك. بدون مشاكل أخرى مع عنوان URL هذا، ستقوم Google أيضًا بفهرسته.
إذا كان لديك العديد من عناوين URL المتأثرة بهذه المشكلة، فحاول تصفيتها في GSC. انقر فوق الحالة وانتقل إلى رمز الهرم المقلوب أعلى قائمة URL.
يمكنك تصفية جميع الصفحات المتأثرة عن طريق عنوان URL (أو جزء فقط من مسار URL) وآخر تاريخ زحف.
إذا رأيت “Blocked by robots.txt”، فقد يشير أيضًا إلى أنك حظرت عمدًا دليلًا كاملاً ولكنك قمت دون قصد بتضمين صفحة تريد الزحف إليها. لاستكشاف هذا الخطأ وإصلاحه:
- قم بتضمين أكبر عدد ممكن من أجزاء مسار عنوان URL في توجيه Disallow بقدر ما يمكنك لتجنب الأخطاء المحتملة، أو
- استخدم الأمر Allow إذا كنت تريد السماح لبرامج الروبوت بالزحف إلى عنوان URL محدد داخل دليل غير مسموح به.
عند تعديل ملف robots.txt، أقترح عليك التحقق من صحة توجيهاتك باستخدام اختبار ملف robots.txt في أداة مشرفي المواقع. تقوم الأداة بتنزيل ملف robots.txt لموقع الويب الخاص بك وتساعدك على التحقق مما إذا كان ملف robots.txt الخاص بك يمنع الوصول إلى عناوين URL المحددة بشكل صحيح.
يتيح لك اختبار ملف robots.txt أيضًا التحقق من كيفية تأثير توجيهاتك على عنوان URL معين على النطاق لوكيل مستخدم معين، مثل Googlebot. بفضل ذلك، يمكنك تجربة تطبيق توجيهات مختلفة ومعرفة ما إذا كان عنوان URL محظورًا أو مقبولاً.
على الرغم من أنك تحتاج إلى تذكر أن الأداة لن تعمل تلقائيًا قم بتغيير ملف robots.txt الخاص بك. لذلك، عند الانتهاء من اختبار التوجيهات، تحتاج إلى تنفيذ جميع التغييرات يدويًا على ملفك.
بالإضافة إلى ذلك، أوصي باستخدام الامتداد Robots Exclusion Checker في Google Chrome. عند تصفح أي مجال، تتيح لك الأداة اكتشاف الصفحات المحظورة بواسطة ملف robots.txt. إنه يعمل في الوقت الفعلي، لذا سيساعدك على الاستجابة بسرعة للتحقق والعمل على عناوين URL المحظورة في مجالك.
تحقق من موضوع Twitter الخاص بي لترى كيف أستخدم هذه الأداة أعلاه.
ماذا لو واصلت حظر صفحاتك القيمة في ملف robots.txt؟ قد تضر بشكل كبير بظهورك في نتائج البحث.
عند استخدام التوجيه Disallow عن قصد
يمكنك تجاهل الحالة “Blocked by robots.txt” في أداة مشرفي المواقع طالما أنك لا ترفض أي عناوين URL قيمة في ملف robots.txt الخاص بك.
تذكر أن منع برامج التتبع من الزحف إلى المحتوى منخفض الجودة أو المكرر أمر طبيعي تمامًا.
يعد تحديد الصفحات التي يجب ولا ينبغي أن تزحف إليها الروبوتات أمرًا بالغ الأهمية من أجل:
- إنشاء استراتيجية زحف لموقع الويب الخاص بك، و
- مساعدتك بشكل كبير في تحسين ميزانية الزحف الخاصة بك وحفظها.
“Blocked by robots.txt” مقابل “مفهرس، على الرغم من حظره بواسطة ملف robots.txt”
يمكن الخلط بسهولة بين “Blocked by robots.txt” وحالة أخرى في تقرير فهرسة الصفحة (تغطية الفهرس) – ” مفهرسة، على الرغم من حظرها بواسطة ملف robots.txt “.
يتمثل الاختلاف بين هاتين المسألتين في أن مع “Blocked by robots.txt” لن يظهر عنوان URL الخاص بك على Google. بدوره، مع “مفهرس، على الرغم من حظره بواسطة ملف robots.txt”، يمكنك رؤية عنوان URL الخاص بك في نتائج البحث.
لماذا قد ترغب Google في فهرسة عنوان URL المحظور؟ لأنه عندما تشير العديد من الروابط إلى عنوان URL معين به نص رابط وصفي، قد يعتبر محرك بحث Google أنه من الأهمية بمكان أن تتم فهرسته دون الزحف إليه.
أيضًا، للعثور على “Blocked by robots.txt”، توجه إلى جدول “لماذا لا تتم فهرسة الصفحات” أسفل الرسم البياني في تقرير فهرسة الصفحة.
بدوره، “مفهرس، على الرغم من حظره بواسطة ملف robots.txt”، هو جزء من قسم “تحسين مظهر الصفحة” الذي قد تراه أسفل جدول “لماذا لا تتم فهرسة الصفحات”.
تذكر أن الأمر Disallow في ملف robots.txt فقط يمنع Google من الزحف إلى صفحاتك. لا يمكن ولا ينبغي استخدامه للتحكم في الفهرسة. لمنع Google من فهرسة عنوان URL، تأكد من أنك تحظر فهرسته بعلامة noindex.
الخلاصة
تعني هذه الحالة “Blocked by robots.txt” أن Googlebot عثر على أمر Disallow يسري على عنوان URL هذا في ملف robots.txt الخاص بك.
تذكر أنه من الطبيعي منع Googlebot من الزحف إلى بعض عناوين URL، خاصة عندما يكبر موقع الويب الخاص بك. يعد القرار بشأن الصفحات التي يجب الزحف إليها وما لا يجب الزحف إليها على موقع الويب الخاص بك خطوة ثابتة لإنشاء إستراتيجية فهرسة الصوت لموقعك على الويب.
وعندما يكون الزحف والفهرسة بشكل صحيح هو أساس تحسين محركات البحث، فإن ملف robots.txt المنظم جيدًا هو جزء واحد فقط منه.
اتصل بنا لإجراء تدقيق تقني شامل لتحسين محركات البحث للتنقل في مشكلاتك.
الأسئلة المتداولة
ما هو ملف robots.txt؟
يحتوي ملف robots.txt على توجيهات لبرنامج Googlebot وبرامج روبوت محركات البحث الأخرى. قبل الزحف إلى موقع الويب الخاص بك، يقومون بزيارة هذا الملف لمعرفة الصفحات التي يمكنهم الوصول إليها دون انتهاك رغباتك. اقرأ كيفية تغيير واختبار ملف robots.txt الخاص بك في دليلنا النهائي إلى ملف robots.txt.
لماذا لا ينبغي لبرنامج Googlebot الزحف إلى جميع عناوين URL؟
ليست كل عناوين URL على موقع الويب الخاص بك ذات قيمة متساوية. بعضها غير مناسب لمحركات البحث لأسباب مختلفة. يجب عليك توجيه Googlebot نحو صفحاتك الأكثر قيمة أولاً وقبل كل شيء، والذي يتضمن التحكم في ميزانية الزحف الخاصة بك.
كيف تقرر أي الصفحات يتم حظرها باستخدام ملف robots.txt؟
يجب عليك استخدام ملف robots.txt لمنع الزحف إلى الصفحات التي لا تريد أن يقوم Google بتحليلها وفهرستها، خاصة عندما تواجه مشكلات في ميزانية الزحف. لكن تذكر أن الأمر Disallow في ملف robots.txt نفسه لا يتحكم في الفهرسة – تحتاج أيضًا إلى استخدام علامات noindex.