تُستخدم علامة noindex لمنع محركات البحث من فهرسة صفحة معينة.
قد تعتقد أنه يجب فهرسة جميع الصفحات الموجودة على موقع الويب الخاص بك، ولكن هذا ليس دقيقاً. في الواقع، pإلغاء بعض الصفحات من الظهور في نتائج البحث هو جزء لا يتجزأ من استراتيجية الفهرسة الخاصة بك.
ما هي علامة noindex؟
علامة noindex هي علامة HTML تُستخدم للتحكم في طريقة تعامل الروبوتات مع صفحة أو ملف معين على موقعك ومنعهم من فهرسة تلك الصفحة أو الملف.
يمكنك إخبار محركات البحث بعدم فهرسة صفحة عن طريق إضافة أمر noindex في علامة وصفية لبرامج الروبوت – ما عليك سوى إضافة الكود التالي إلى قسم
في HTML:
<meta name=”robots” content=”noindex”>
بدلاً من ذلك، يمكن إضافة علامة noindex كعلامة x-robots في HTTP Headers:
x-robots-tag: noindexعندما يقوم روبوت محرك بحث مثل Googlebot بالزحف إلى صفحة بها علامة noindex، فلن يقوم بفهرستها. إذا كانت الصفحة قد تمت فهرستها مسبقًا وتمت إضافة العلامة لاحقًا، فسيقوم Google بإسقاطها من نتائج البحث، حتى إذا كانت هناك مواقع أخرى مرتبطة بها.
بشكل عام، لا يُطلب من عناكب الزحف لمحركات البحث اتباع التوجيهات الوصفية لأنها تعمل كاقتراحات وليست قواعد يجب أن تحترمها. قد تفسر بعض برامج زحف محركات البحث القيم الوصفية لبرامج الروبوت بشكل مختلف.
ومع ذلك، فإن معظم عناكب الزحف لمحركات البحث – مثل Googlebot – تخضع لتوجيه noindex.
Noindex أو nofollow
هناك توجيهات meta robots أخرى تدعمها Google – أكثرها شيوعًا تتضمن nofollow و follow. ومع ذلك، فإن علامة المتابعة هي الإعداد الافتراضي في حالة عدم إضافة علامات وصفية لبرامج الروبوت، لذلك تعتبرها Google غير ضرورية.
تمنع علامة nofollow محركات البحث من الزحف إلى الروابط الموجودة على الصفحة. نتيجة لذلك، لن يتم تمرير إشارات الترتيب لتلك الصفحة إلى الصفحات التي ترتبط بها.
من الممكن استخدام أمر noindex بمفرده، ولكن يمكن أيضًا دمجه مع توجيهات أخرى. على سبيل المثال، يمكنك إضافة علامة noindex و nofollow إذا كنت لا تريد أن تقوم روبوتات محرك البحث بفهرسة الصفحة وتتبع الروابط الموجودة عليها.
إذا قمت بتنفيذ علامة noindex، لكن صفحتك لا تزال تظهر في نتائج البحث، فمن المحتمل أن محرك بحث Google لم يزحف إلى الصفحة منذ إضافة العلامة. لمطالبة Google بإعادة الزحف إلى صفحة ما، يمكنك استخدام أداة فحص عنوان URL.
متى يجب استخدام علامة noindex؟
يجب استخدام علامة noindex لمنع فهرسة Google للصفحات.
يعد جعل الصفحات الأقل أهمية غير قابلة للفهرسة أمرًا بالغ الأهمية لأن Google ليس لديها موارد كافية للزحف إلى كل صفحة يعثر عليها على الويب وفهرستها. في الوقت نفسه، تحتاج إلى تحديد صفحاتك القيمة التي يجب فهرستها وتحديد أولويات تحسينها.
دعنا نرى أنواع الصفحات التي يجب عليك تطبيق علامة noindex عليها لجعلها غير قابلة للفهرسة. ضع علامة noindex على:
- صفحات المنتجات التي نفدت من المخزون ولن تكون متاحة مرة أخرى.
- الصفحات التي لا يجب الوصول إليها في نتائج البحث، مثل البيئات المرحلية أو الصفحات المحمية بكلمة مرور.
- الصفحات ذات القيمة لمحركات البحث وليس للمستخدمين – مثل الصفحات التي تحتوي على روابط تساعد الروبوتات في اكتشاف الصفحات الأخرى.
- الصفحات ذات المحتوى المكرر، غالبًا ما تكون سائدة على مواقع التجارة الالكترونية. يوصى أيضًا باستخدام العلامات الأساسية لتوجيه محركات البحث إلى الإصدارات الأساسية لصفحاتك ومنع تكرار مشكلات المحتوى.
يجب أن يتم جعل الصفحات غير قابلة للفهرسة كجزء من إستراتيجية فهرسة راسخة.
لا يجب أبدًا تضمين noindex في الصفحات القيمة، مثل:
- صفحات المنتجات الأكثر شيوعًا،
- مقالات المدونة (ما لم تكن قديمة)،
- نبذة عني وصفحات الاتصال،
- الصفحات التي تصف الخدمات التي تقدمها.
بشكل عام، لا تضع علامة noindex مطلقًا على الصفحات التي تتوقع أن تجلب زيارات عضوية كبيرة.
كيفية تنفيذ علامة noindex
يمكن وضع علامة noindex في كود HTML الخاص بالموقع أو رؤوس استجابة HTTP.
تتيح لك بعض ملحقات CMS مثل Yoast noindex تلقائيًا للصفحات التي تنشرها.
دعنا ننتقل إلى طريقتي التنفيذ الأساسيتين خطوة بخطوة ونحلل مزاياها وعيوبها.
أدخل علامة noindex في كود HTML للصفحة
يمكن تنفيذ علامة noindex كعلامة وصفية لبرامج الروبوت في HTML للصفحة.
العلامات الوصفية للروبوتات هي أكواد تستخدم للتحكم في الزحف إلى موقع الويب وفهرسته. لا يمكن للمستخدمين رؤيتها، ولكن تعثر عليها الروبوتات أثناء الزحف إلى الصفحة.
دعنا نوضح كيف يتم بناء علامة تعريف برامج الروبوت.
يوجد داخل العلامة الوصفية أزواج من السمات والقيم:
<!DOCTYPE html>
<html>
<head>
<meta name="robots" content="noindex" >
</head>
<body>
</body>
</html>
تحتوي العلامة الوصفية لبرامج الروبوت على سمتين:
- الاسم – يحدد اسم روبوتات محرك البحث،
- المحتوى – يحتوي على توجيهات لبرامج الروبوت.
تتطلب كلتا السمتين قيمًا مختلفة بناءً على ما تريد أن تفعله الروبوتات. أيضًا، كل من سمات الاسم والمحتوى غير حساسة لحالة الأحرف.
تأخذ سمة الاسم عادةً قيمة “الروبوتات”، تشير إلى أن التوجيه يستهدف جميع برامج الروبوت.
من الممكن أيضًا استخدام اسم برنامج تتبع معين بدلاً من ذلك، مثل “googlebot”، على الرغم من أنك ستواجه هذا كثيرًا في كثير من الأحيان. إذا كنت تريد معالجة برامج روبوت مختلفة، فستحتاج إلى إنشاء علامات وصفية منفصلة لكل منها.
ضع في اعتبارك أن محركات البحث لديها برامج زحف مختلفة لأغراض مختلفة – تحقق من قائمة عناكب الزحف في Google.
وفي الوقت نفسه، تحتوي سمة المحتوى على التوجيه الذي يجب على الروبوتات اتباعه. في حالتنا، هو “noindex”. يمكنك وضع أكثر من قيمة هناك وفصل السمات بفاصلات.
إيجابيات وسلبيات العلامات الوصفية للروبوتات
طريقة HTML أسهل في التنفيذ والتعديل من طريقة رأس HTTP. كما أنه لا يتطلب منك الوصول إلى الخادم الخاص بك.
ومع ذلك، قد يستغرق تنفيذ علامة noindex في HTML وقتًا طويلاً – ستحتاج إلى إضافتها يدويًا إلى كل صفحة تريد noindex.
أضف علامة noindex إلى رؤوس HTTP
هناك حل آخر وهو تحديد أمر noindex في علامة x-robots.
هذا عنصر من استجابة HTTP header. تُستخدم رؤوس HTTP للاتصال بين الخادم والعميل (متصفح أو روبوت لمحرك البحث).
يمكنك تكوينه على خادم الويب HTTP الخاص بك. سيبدو الرمز مختلفًا قليلاً اعتمادًا على الخادم الذي تستخدمه – مثل Apache أو Nginx أو غيرهما.
فيما يلي مثال لما يمكن أن تبدو عليه استجابة HTTP بعلامة x-robots-tag:
HTTP/1.1 200 OK (…) x-robots-tag: noindex (…)خادم Apache
إذا كان لديك خادم قائم على Apache وتريد noindex all الملفات التي تنتهي بـ “.pdf”، يجب إضافة التوجيه إلى ملف.htaccess.
هذا هو نموذج الكود:
Header set x-robots-tag "noindex" Nginx server
إذا كان لديك Nginx-based server، فنفذ الأمر في the.conf file:
location ~*.pdf$ { add_header x-robots-tag "noindex"; }إيجابيات وسلبيات استخدام رؤوس HTTP
تتمثل إحدى الميزات المهمة لاستخدام noindex في رؤوس HTTP في أنه يمكنك استخدامها على مستندات الويب التي ليست صفحات HTML، مثل ملفات PDF، مقاطع الفيديو أو الصور. علاوة على ذلك، تتيح لك هذه الطريقة استهداف جزء معين من الصفحة.
بالإضافة إلى ذلك، تدعم x-robots-tag استخدام التعبيرات العادية (RegEx). بمعنى آخر، يمكنك استهداف الصفحات التي يجب عدم فهرستها من خلال تحديد العناصر المشتركة بينها. على سبيل المثال، يمكنك استهداف الصفحات التي تحتوي على عناوين URL تحتوي على معلمات أو رموز محددة.
من ناحية أخرى، تحتاج إلى الوصول إلى الخادم الخاص بك لتنفيذ علامة x-robots.
تتطلب إضافة العلامة أيضًا مهارات تقنية وهي أكثر تعقيدًا من إضافة العلامات الوصفية لبرامج الروبوت إلى HTML لموقع الويب.
كيف يمكنك التحقق من تنفيذك لعلامة noindex؟
إذا كنت تريد التحقق مما إذا كان قد تم تنفيذ noindex أو توجيهات تعريفية أخرى لبرامج الروبوت، فيمكنك القيام بذلك بناءً على كيفية إضافتها إلى الصفحة.
لذلك، إذا تمت إضافة علامة noindex إلى HTML للصفحة، فيمكنك التحقق من كود المصدر الخاص بها، بينما بالنسبة إلى رؤوس HTTP، يمكنك استخدام خيار Inspect في Chrome. ستوضح لك هذه الأدوات التوجيهات التي تم التعرف عليها في صفحة معينة.
تتضمن الخيارات الأخرى إدخال عنوان URL في أداة فحص عنوان URL الخاصة بـ Google Search Console أو استخدام الامتداد Link Redirect Trace.
مزيد من المعلومات حول استخدام علامة noindex
فيما يلي بعض الإرشادات الإضافية حول استخدام علامة noindex وتفاصيل حول خصائصها:
- عندما لا تقوم بتضمين noindex في شفرتك، يكون الخيار الافتراضي هو يمكن لبرامج الروبوت فهرسة صفحتك.
- احترس من أي أخطاء في الكود، مثل تضمين الفواصل في الأماكن الصحيحة – لن تفهم الروبوتات أوامرك إذا كانت البنية خاطئة.
- أضف العلامات في كود HTML الخاص بك أو رؤوس استجابة HTTP، ولكن ليس كلاهما. يمكن أن يكون للقيام بذلك تأثير سلبي في الغالب إذا كانت التوجيهات في الأماكن المعنية تتعارض مع بعضها البعض. في هذه الحالة، سيختار Googlebot الأمر الذي يحد من الفهرسة.
- يمكنك استخدام التوجيه noimageindex الذي سيعمل بشكل مشابه لـ noindex ولكنه سيمنع فقط الصور الموجودة على صفحة معينة من الفهرسة.
- بعد فترة، تبدأ برامج الروبوت في عرض noindex على أنها أيضًا nofollow. يقوم العديد من الأشخاص بإيقاف فهرسة الصفحات باستخدام noindex ولكن يقومون بدمجها مع التوجيه التالي للتأكد من أن الروبوتات لا تزال تزحف إلى الروابط الموجودة على الصفحة. لكن أوضحت Google أن الأمر noindex، متابعة سيتم التعامل معه في النهاية على أنه noindex، nofollow لأنه في مرحلة ما، يتوقفون عن الزحف إلى الروابط على صفحات noindexed. نتيجة لذلك، قد لا تتم فهرسة صفحات وجهة الارتباط ويمكن أن تتضاءل إشارات الترتيب التي قد تؤثر سلبًا على ترتيبها.
- لا تستخدم noindex في ملفات robots.txt. على الرغم من عدم دعم هذه القواعد وبعض القواعد الأخرى رسميًا، إلا أن روبوتات محرك البحث اتبعت توجيهات noindex في ملفات robots.txt. ومع ذلك، اعتبارًا من سبتمبر 2019، أعلنت Google أنها تخلصت من الشفرة التي تعاملت مع القواعد غير المدعومة وغير المنشورة في ملفات robots.txt – مثل noindex – في سبتمبر 2019.
مقارنة علامات noindex وملفات robots.txt والعلامات الأساسية
علامات noindex و ملفات robots.txtوالعلامات الأساسية مرتبطة ببعضها – يمكن استخدامها للتحكم في الزحف إلى الصفحات و / أو فهرستها.
ومع ذلك، فإن لديهم بعض الخصائص المميزة التي تجعلهم مناسبين في المواقف المختلفة.
لقد أثبتنا أن علامات noindex تتحكم في ما إذا كان يجب فهرسة صفحات معينة على موقع الويب، وتعمل على مستوى الصفحة.
لنلقِ نظرة على كيفية مقارنة ذلك بملفات robots.txt والعلامات الأساسية.
ملفات Robots.txt
يمكن استخدام ملفات Robots.txt للتحكم في كيفية قيام روبوتات محرك البحث بالزحف إلى أجزاء من موقع الويب الخاص بك على مستوى الدليل.
على وجه التحديد، تتضمن ملفات robots.txt توجيهات لروبوتات محرك البحث، مع التركيز على “عدم السماح” أو “السماح” بسلوكها. إذا اتبعت برامج الروبوت التوجيه، فلن تقوم بالزحف إلى الصفحات غير المسموح بها، ولن تتم فهرسة الصفحات.
تُستخدم توجيهات Robots.txt على نطاق واسع لحفظ ميزانية الزحف الخاصة بموقع الويب .
توخ الحذر عند تنفيذ علامات noindex وإعداد القواعد في ملفات robots.txt. لكي يكون أمر noindex فعالاً، يجب أن تكون الصفحة المحددة متاحة للزحف، مما يعني أنه لا يمكن حظرها بواسطة ملف robots.txt.
إذا لم يتمكن الزاحف من الوصول إلى الصفحة، فلن يرى علامة noindex ولن يحترمها. يمكن بعد ذلك الزحف إلى الصفحة والظهور في نتائج البحث – على سبيل المثال، إذا كانت هناك صفحات أخرى مرتبطة بها.
من أجل noindex لصفحة، اسمح بالزحف إليها في ملف robots.txt واستخدم علامة noindex meta tag لحظر فهرستها – سيتبع Googlebot بعد ذلك توجيه noindex.
العلامات المتعارف عليها
العلامات المتعارف عليها هي عناصر HTML التي تخبر محركات البحث بالصفحة من بين العديد من الصفحات المتشابهة هي الإصدار الأساسي ويجب فهرستها. يتم وضعها في الصفحات الثانوية وتحديد عنوان URL الأساسي – ونتيجة لذلك، لا يجب تضمين هذه الصفحات الثانوية في الفهرس.
قد تحد العلامات الأساسية من فهرسة الصفحات غير الأساسية، ولكن لن تحترم Google دائمًا هذه العلامات. على سبيل المثال، إذا عثر محرك بحث Google على المزيد من الروابط المؤدية إلى صفحة أخرى، فقد يتعامل معها على أنها أكثر أهمية من عنوان URL الأساسي المحدد وتعتبره الإصدار الأساسي.
أيضًا، يمكن اكتشاف العلامات الأساسية بواسطة الروبوتات فقط أثناء الزحف. على عكس ملفات robots.txt، لا يمكن استخدامها لمنع الزحف إلى صفحة.
يتمثل أحد الاختلافات الجوهرية بين العلامات المتعارف عليها وعلامات noindex في أن الصفحات المتعارف عليها تدمج إشارات الترتيب ضمن عنوان URL واحد. وفي الوقت نفسه، الصفحات noindexed لن تمر بإشارات الترتيب، وهو أمر حيوي فيما يتعلق بالروابط الداخلية – لن تقوم بتمرير إشارات الترتيب إلى عناوين URL التي ترتبط بها.
الخلاصة
يعد جعل الصفحات منخفضة الجودة غير قابلة للفهرسة أحد أفضل ممارسات تحسين محركات البحث لتحسين إستراتيجية الفهرسة الخاصة بك – و يعد استخدام العلامة الوصفية noindex أحد أفضل الطرق لإبعاد الصفحة عن فهرس Google.
باستخدام العلامة، يمكنك منع فهرسة الصفحات غير المهمة وبالتالي مساعدة برامج زحف محركات البحث على التركيز على المحتوى الأكثر قيمة لديك.
هذا يجعل علامة noindex واحدة من الأدوات الأساسية في مُحسّنات محرّكات البحث، ولهذا السبب نقوم بتدقيق جميع علامات noindex الخاصة بك كجزء من خدمات تحسين محركات البحث التقنية لدينا.
يُعد الزحف والفهرسة الفعالان لموقعك على الويب أمرًا أساسيًا لتحقيق أقصى استفادة من حركة المرور العضوية التي يمكن أن توجهها الصفحات القيمة إلى موقعك.
