توصيات جوجل لتحسين ميزانية الزحف لموقعك
توصي جوجل باستخدام شبكات توزيع المحتوى (CDNs) أو النطاقات الفرعية لاستضافة موارد الموقع مثل JavaScript وCSS لتحسين ميزانية الزحف المخصصة للموقع الرئيسي، مما يعزز فهرسة المحتوى بشكل أفضل.
- ذاكرة التخزين المؤقت لـ Googlebot: تحتفظ Googlebot بذاكرة تخزين مؤقتة للموارد لمدة تصل إلى 30 يومًا، بغض النظر عن إعدادات ذاكرة التخزين المؤقت في HTTP.
- استضافة الموارد على CDNs: يمكن أن يساعد في توفير ميزانية الزحف لموقعك.
- تحذير جوجل: حظر الموارد resources في ملف robots.txt قد يؤدي إلى تأثير سلبي على قدرة جوجل على عرض صفحات الموقع وفهرستها.
سلسلة “Crawling December” من جوجل
أطلقت Google Search Central سلسلة جديدة باسم “Crawling December” لاستكشاف آليات الزحف والفهرسة التي تقوم بها Googlebot.
تهدف السلسلة إلى تقديم رؤى متعمقة حول الجوانب الأقل مناقشة المتعلقة بعملية الزحف التي يمكن أن تؤثر بشكل كبير على مواقع الويب.
في المنشور الأول من السلسلة، قدمت جوجل نظرة عامة عن أساسيات الزحف وأبرزت معلومات مهمة حول كيفية إدارة Googlebot لموارد الصفحات وميزانية الزحف.
أساسيات الزحف
في الوقت الحالي، أصبحت مواقع الويب أكثر تعقيدًا بسبب الاعتماد على تقنيات مثل JavaScript وCSS، مما يجعل عملية الزحف أكثر صعوبة مقارنةً بالصفحات القديمة التي تعتمد فقط على HTML.
كيف تعمل Googlebot؟
عند زيارة صفحة ويب:
- تنزيل HTML الأساسي: يتم تنزيل الملف الرئيسي للصفحة.
- المعالجة بواسطة خدمة عرض الويب: تقوم Googlebot بمعالجة الموارد (JavaScript وCSS).
- تنزيل الموارد: يتم تحميل جميع الموارد المرفقة.
- إنشاء العرض النهائي للصفحة.
إدارة ميزانية الزحف
تؤكد جوجل أن زحف موارد إضافية يمكن أن يقلل من ميزانية الزحف المخصصة للموقع الأساسي. لذا، تعتمد Googlebot على ذاكرة تخزين مؤقتة لمدة تصل إلى 30 يومًا للموارد التي تستخدمها.
الفائدة من ذاكرة التخزين المؤقت:
- تقليل الحاجة إلى إعادة الزحف للموارد بشكل متكرر.
- توفير ميزانية الزحف للصفحات المهمة.
توصيات لتحسين ميزانية الزحف
1. تقليل استخدام الموارد
- استخدم موارد أقل لتحسين تجربة المستخدم.
- هذا يساعد في تقليل استهلاك ميزانية الزحف عند عرض الصفحة.
2. استضافة الموارد على نطاق مختلف
- استضافة الموارد على CDNs أو نطاق فرعي يقلل من العبء على الموقع الرئيسي.
3. الحذر مع معلمات تعطيل التخزين المؤقت
- تغيير عناوين الموارد بشكل متكرر يمكن أن يجعل Google تعيد التحقق منها، مما يستهلك ميزانية الزحف.
قد يهمك: ما معنى تقليل استخدام الموارد؟
تحذيرات من جوجل
- حظر الموارد: يمنع robots.txt جوجل من الوصول إلى الموارد اللازمة لعرض الصفحات. هذا قد يؤدي إلى صعوبة في فهم المحتوى أو تصنيفه بشكل صحيح.
أدوات لمراقبة الزحف
أفضل طريقة لمعرفة ما تقوم به Googlebot:
- التحقق من سجلات الوصول الخام للموقع.
- يمكن التعرف على Googlebot باستخدام عناوين IP المنشورة في وثائق مطوري جوجل.
أهمية هذا المنشور
يقدم المنشور ثلاث نقاط أساسية يجب أن يضعها مالكو المواقع والمطورون في اعتبارهم:
- إدارة الموارد تؤثر مباشرة على ميزانية الزحف: استضافة السكربتات والأنماط على CDNs يساعد في الحفاظ على الميزانية.
- ذاكرة التخزين المؤقت لـ Googlebot تدوم 30 يومًا: بغض النظر عن إعدادات التخزين المؤقت في HTTP.
- حظر الموارد الأساسية قد يؤدي إلى عواقب سلبية: مثل صعوبة عرض وفهرسة الصفحات.
فهم آليات الزحف وإدارة الموارد يساعد فرق تحسين محركات البحث (SEO) والمطورين في اتخاذ قرارات أفضل بشأن استضافة الموارد وإمكانية الوصول إليها. هذه الخيارات تؤثر مباشرة على قدرة جوجل على زحف مواقعهم وفهرستها بكفاءة.
