الهدف الأساسي لمحركات البحث هو البحث في الإنترنت عن جميع الصفحات الموجودة (اختيار تلك التي يمكن أن توفر لمستخدمي الويب المعلومات الأكثر قيمة وجديرة بالثقة. ويحتاجون إلى القيام بذلك بسرعة وكفاءة). وهذا ليس سهل!

الإنترنت عبارة عن مجموعة ضخمة من صفحات الويب؛ وهذا هو السبب في أن جمع جميع المعلومات واستدعائها خلال أجزاء من الثانية هو من بين أهداف محرك البحث. في هذه المقالة، سنتحدث عن كيفية عمل الزحف والفهرسة بالتفصيل حتى لا تحتاج للبحث في أي مكان آخر عن معلومات متعلقة بهذه الجزئية.

كيفية أرشفة المواقع في محرك البحث جوجل

استعد للأشياء المفيدة التي يجب معرفتها والتي ستساعدك بشكل فعال في تحسين كفاءة موقع الويب الخاص بك من ناحية الزحف والفهرسة.

عناكب البحث Crawlers

قبل أن أشرح كيفية أرشفة المواقع في جوجل بسرعة يجب أن تعلم أن كل محرك بحث لديه Bot أو Spider أو Crawler (عنكبوت البحث أو برنامج وكيل المستخدم) وكلها مسميات لشيء واحد وهو برنامج آلي يزحف عبر الانترنت ليكتشف الصفحات من الويب. مثلا يسمى في جوجل Googlebot ويزحف باستمرار إلى صفحات الويب الجديدة لفهرستها والقديمة لمراقبة التغييرات فيها. وهي أهم الأدوات التي تعتمد عليها محركات البحث في التعرف على صفحات الويب وتصنيفها وتخزينها ومن ثم فهرستها في السجل الرئيسي لمحرك البحث.

وقد يحتوي كل محرك بحث على عدة عناكب بحث، ولكل منها اختصاص محدد قد يكون للفيديوهات أو النصوص أو الصور أو الإعلانات.

بداية يقوم باكتشاف Discovery روابط الصفحات والمواقع الجديدة على الانترنت ومن ثم يعمل Crawling أو الزحف لاكتشاف محتوى الصفحات الجديدة، ومن ثم يقوم بعملية الأرشفة Indexing في الفهرس الخاص بجوجل و بعد ذلك يأتي عمل الخوارزمية الأخيرة وهي الترتيب Ranking.

مراحل أرشفة صفحات الويب

إذا باختصار المراحل هي اكتشاف > زحف > أرشفة > ترتيب، وإليك التفصيل:

Discovery (اكتشاف)

عملية الاكتشاف تعني أن عناكب محركات البحث اكتشفت وجود صفحات جديدة على الانترنت. عملية البحث عن صفحات ويب جديدة أو محدثة. يكتشف جوجل عناوين URL باتباع الروابط وقراءة ملفات Sitemap وبعدة وسائل أخرى.

Crawling (زحف)

يزحف محرك بحث Google إلى صفحات الويب المكتشفة ويقوم بقراءة وفهم محتواها وتصنيفها حسب هذا المحتوى والمعلومات التي تقدمها.

الحصول على فهم أعمق للزحف

حاليًا، هناك تريليونات من الصفحات الحية على الإنترنت، وهي تنمو بالأرقام كل يوم. لذا، فإن الزحف عليهم جميعًا سيستغرق الكثير من الوقت. الزحف هو عملية العثور على جميع الروابط في الصفحة، ومتابعة كل منها، وتكرار العملية بشكل متكرر للبحث عن صفحات جديدة أخرى.

يشير المسوقون والمحترفون إلى برامج زحف الويب بأسماء مختلفة: الروبوتات أو العناكب أو روبوتات محركات البحث أو الروبوتات أو روبوتات العنكبوت. السبب الرئيسي لتصنيف برامج زحف الويب على أنها روبوتات هو أنها تمت برمجتها لأداء سلسلة من المهام المعينة – لا أكثر ولا أقل.

كما ذكرنا سابقًا، يتعين على برامج الزحف فقط الانتقال من رابط إلى رابط وجمع كل المعلومات التي يمكنهم الحصول عليها على صفحة ويب معينة.

قد تتساءل، “كيف يبدأ الزحف؟”

محركات البحث لديها قائمة من المواقع الموثوقة التي يستخدمونها كقائمة أولية. تحتوي هذه الصفحات على روابط تؤدي إلى مواقع ويب أخرى. بصرف النظر عن القائمة الأولية، يستخدمون أيضًا مواقع الويب التي تم الزحف إليها مسبقًا بالإضافة إلى خرائط المواقع التي قدمها مالكو مواقع الويب.

الزحف في الواقع لا يتوقف أبدًا. طالما أن هناك روابط وصفحات ويب، فسيظل الزحف موجودًا. يعد الزحف مهمة مهمة جدًا لمحركات البحث لأنه يسمح لهم بالعثور على صفحات جديدة تحتوي على معلومات أحدث وتصنيف المحتوى.

بمجرد تصنيف جزء من المحتوى، ستفصل محركات البحث بين الصفحات المفيدة والصفحات غير المفيدة. عادةً ما يتم وضع الصفحات التي لا تفي بالمعايير التي تضعها محركات البحث في الأجزاء السفلية من صفحات نتائج محرك البحث (SERPs). من ناحية أخرى، ستظهر الصفحات الأكثر قيمة في الصفحة الأولى لمحركات البحث.

نظرًا لأن محركات البحث تقدر وقت مستخدميها، فإنها لا تريد أن تظهر لهم مواقع الويب التي لا تعطي أي قيمة.

ميزانية الزحف

إن أبسط تعريف لميزانية الزحف هو أنه عدد الصفحات التي سيقوم محرك البحث بالزحف إليها وفهرستها على موقع الويب خلال فترة زمنية معينة. هناك الكثير من العوامل التي تؤثر على الميزانية المخصصة للموقع. العوامل الأكثر شيوعًا هي:

  • حجم الصفحات
  • جودة الصفحات
  • التحديثات التي تم إجراؤها على الصفحات
  • شعبية الموقع
  • سرعة الموقع

بالنسبة إلى جهات التسويق، تعد ميزانية الزحف جانبًا مهمًا جدًا في عملية الزحف. عندما يتم إهدار هذا، يمكن أن يتأثر الترتيب العام للموقع بشكل سلبي. هذا يعني أنه سيتم الزحف إلى الصفحات بمعدل أقل، مما يؤدي إلى تصنيفات أقل على SERPs.

يختار محرك بحث مثل Google مواقع الويب التي يتم الزحف إليها بشكل متكرر؛ ومع ذلك، فإنه لا يسمح لأي موقع ويب بالدفع لمجرد الزحف إليه في كثير من الأحيان. هناك حالات لا يرغب فيها مالك موقع الويب في قيام محرك بحث بالزحف إلى صفحة ويب معينة.

في هذه الحالة، يتم استخدام ملف robots.txt. يجب ألا يستخدم استخدام ملف robots.txt إلا من قبل الخبراء لأنه يمكن أن يعزل عن غير قصد جميع الصفحات الموجودة على موقع الويب من Google.

Index (أرشفة)

يخزن جوجل جميع صفحات الويب التي يصل لها في الفهرس أو الأرشيف الخاص به حتى يتم إظهارها في نتائج البحث في حال تطابق استفسار البحث مع محتوى هذه الصفحة. ويتم حفظ كل صفحة على الانترنت بواسطة الرابط الخاص بها URL وأي تغيير في هذا الرابط يعني إعادة العملية من بدايتها.

فهم أعمق للفهرسة

يعتقد الكثير من الناس أن الزحف والفهرسة جزء من عملية واحدة فقط. ومع ذلك، هذا ليس هو الحال. كلاهما عمليتان مختلفتان، ولكل منهما غرضه الخاص. لقد تحدثنا عن الزحف في وقت سابق، لذلك سنساعدك الآن على فهم ماهية الفهرسة وكيف تعمل.

الفهرسة هي عملية تخزين وتنظيم جميع المعلومات الموضوعة على صفحة الويب. عندما يدخل روبوت الزحف إلى صفحة ما، فإنه يعرض رمز تلك الصفحة المعينة، ويقوم بفهرسة كل شيء يعرضه. يتضمن المحتوى والروابط والبيانات الوصفية على الصفحة.

لا تعد عملية الفهرسة مهمة سهلة لمحركات البحث لأنها تتطلب مساحة تخزين ضخمة. ليس فقط تخزين البيانات. سيحتاج تقديم تريليونات من صفحات الويب إلى قدر كبير من موارد الحوسبة.

Ranking (ترتيب)

إن ترتيب نتائج موقعك في SERPs (صفحة نتائج البحث) وهي المكان الذي تظهر فيه أفضل مواقع الويب، يعتمد على Page Rank بيج رانك وهي عبارة عن عوامل متعددة تصل إلى 200 نقطة فحص ومعظمها تبقيها محركات البحث سرا وهي ما تسمى خوارزميات محركات البحث، ولكن ما يهمك منها هو المحتوى الجيد الذي يقدم معلومات مفيدة للمستخدم الذي يصل موقعك من خلال محركات البحث وهذا المحتوى الجيد سيستحوذ على روابط الخلفية تشير لموقعك ولا تنسى البنية التقنية السليمة، كلها مجتمعة تسهل عمل عناكب البحث في إعطاء موقعك أو صفحة الانترنت الخاصة بك ترتيب منصف في أولوية الظهور ضمن نتائج البحث للمنافسين.

فيما يلي العوامل المهمة التي يجب أن تضعها في اعتبارك:

الشعبية

تعطي محركات البحث مثل Google الأولوية لمواقع الويب التي غالبًا ما ترتبط بمواقع ويب مختلفة. يشبه الحصول على روابط من مواقع أخرى الحصول على “تصويتات” لأن المحتوى الخاص بك يستحق أن تتم مشاركته مع أشخاص آخرين.

يمكن أن يعني الارتباط إلى موقعك أيضًا أن موقع الويب يثق في المحتوى الخاص بك لأنه يحتوي على معلومات موثوقة ومحدثة.

الجودة

لا يتم إنشاء جميع أجزاء المحتوى على الإنترنت على قدم المساواة. تعتمد جودة المحتوى على المعلومات الموجودة فيه والبنية واللغة والعديد من العوامل الأخرى. تستخدم محركات البحث خوارزمية معقدة تحدد جودة المحتوى.

EAT هو المفهوم الذي تستخدمه محركات البحث لتصنيف المحتوى. إنها تعني الخبرة والأثوريتي والجدارة بالثقة. لذلك، إذا رأى محرك بحث مثل Google أن المحتوى الخاص بك يمتلك هذه الثلاثة، فمن المؤكد أنه سيضع صفحاتك في مرتبة أعلى.

حداثة المعلومات

نظرًا لأن محركات البحث يمكنها تحديد حداثة المعلومات في جزء من المحتوى، فإنها غالبًا ما تبحث عن تلك التي تحتوي على بيانات محدثة. سيضع محرك البحث موقع الويب الخاص بك في أعلى المراتب إذا قمت بتحديث المعلومات الموجودة على المحتوى الخاص بك باستمرار وتأكد من أنها دقيقة ومن مواقع موثوقة.

تردد النشر

بصرف النظر عن الثلاثة، تعطي محركات البحث الأولوية أيضًا لمواقع الويب التي توفر دائمًا لمستخدمي الويب الكثير من المحتوى عالي الجودة. عندما ينشر أحد المواقع محتوى عالي الجودة بشكل متكرر ويكون مقدار حركة المرور العضوية مرتفعًا أيضًا، ستعتبر محركات البحث هذا الموقع مصدرًا للمعلومات الجديدة والمثيرة.

عندما يحدث هذا، قد يتم عرض هذا الموقع أعلى SERPs.

كيفية أرشفة المواقع في جوجل بسرعة

هناك طريقتين لتسريع عملية اكتشاف صفحات الويب الجديدة:

  • نسخ رابط الصفحة في حقل البحث في محرك بحث جوجل والضغط على Enter
  • إرسال صفحة الويب للأرشفة من خلال أداة مشرفي المواقع Google Search Console

ارشفة الصفحة

اداة مشرفي المواقع

يعد الزحف إلى جميع الصفحات وفهرستها على الإنترنت مهمة صعبة لمحركات البحث. هذا هو السبب في أنك عندما تقوم بدمج الروابط الداخلية في المحتوى الخاص بك وإنشاء بنية ارتباط داخلية منظمة، فإنك تساعد برامج زحف الويب على القيام بعملهم بشكل أسهل كثيرًا. أثناء مساعدتهم، يمكنك أيضًا جني فوائد الارتباط الداخلي نفسه. يمكنك تعظيم ميزانية الزحف المخصصة لموقعك على الويب، مما يعني أنه سيتم الزحف إلى معظم صفحاتك، إن لم يكن كلها، وفهرستها بواسطة روبوت الزحف لمحرك البحث.

هذا كان كل ما يتعلق بأرشفة المواقع وصفحات الويب الجديدة بسرعة في محرك البحث جوجل! ولا داعي لأن تفعل أي شيء آخر مثل الدفع لمنصات الأرشفة، صدقني كلها بلا فائدة.