نشرت جوجل مستندًا جديدًا يشرح كيف تؤثر شبكات تسليم المحتوى (CDNs) على زحف محركات البحث وتساهم في تحسين محركات البحث (SEO)، وأيضًا كيف يمكن أن تسبب بعض المشكلات أحيانًا.
ما هي شبكات تسليم المحتوى (CDNs)؟
شبكات تسليم المحتوى (CDNs) هي خدمة تخزّن نسخًا مؤقتة (Cache) من صفحات الويب وتعرضها من مركز بيانات قريب من المتصفح الذي يطلب تلك الصفحة. تعمل هذه الطريقة على تسريع تسليم الصفحات عن طريق تقليل عدد “القفزات” عبر الإنترنت بين الخادم الأصلي ومتصفح الزائر.
كيف تزيد CDNs من الزحف؟
أحد الفوائد الرئيسية لاستخدام شبكات CDNs هو أن جوجل تزيد تلقائيًا من معدل الزحف عندما تكتشف أن الصفحات تُعرض عبر CDN. هذا يجعل استخدام CDNs جذابًا للمتخصصين في تحسين محركات البحث والناشرين الذين يهتمون بزيادة عدد الصفحات التي يزحف إليها Googlebot.
عادةً ما يقلل Googlebot معدل الزحف إذا اكتشف أن الخادم يقترب من حدوده مما يسبب تباطؤًا. لكن عندما يكتشف Googlebot استخدام CDN، فإنه يرفع هذا الحد مما يسمح بزحف المزيد من الصفحات.
ومع ذلك، عند استخدام CDN لأول مرة، تحتاج الصفحات إلى أن تُعرض من الخادم الأصلي مرة واحدة على الأقل حتى “تُدفّأ” ذاكرة التخزين المؤقت لـ CDN، وهو ما يمكن أن يمثل عبئًا كبيرًا على ميزانية الزحف إذا كان هناك عدد كبير من الصفحات الجديدة.
متى يتسبب استخدام CDNs في مشكلات الزحف؟
توصي جوجل بالحذر لأن شبكات CDNs قد تضع Googlebot على القوائم السوداء وتمنعه من الزحف. يمكن أن يحدث هذا بطريقتين:
الحظر الصارم (Hard Blocks)
- استجابات خطأ في الخادم: مثل رمز الخطأ 500 (خطأ داخلي) أو 502 (بوابة غير صالحة). هذه الأخطاء تؤدي إلى تقليل معدل الزحف، وإذا استمرت، يمكن أن تُزال عناوين URL من فهرس البحث.
- الاستجابات الخاطئة: عندما يرسل الخادم رمز الحالة 200 (نجاح)، لكنه يعرض صفحة خطأ. تُفسر جوجل هذه الصفحات كصفحات مكررة وتزيلها من الفهرس.
الحظر الناعم (Soft Blocks)
- التحقق من الروبوتات: إذا أظهر CDN نافذة منبثقة مثل “هل أنت إنسان؟”، فإن Googlebot قد يواجه صعوبة في الزحف. توصي جوجل باستخدام رمز الحالة 503 (الخدمة غير متوفرة مؤقتًا) للإشارة إلى أن المحتوى غير متاح بشكل مؤقت.
كيفية تصحيح المشكلات باستخدام أدوات الفحص وجدران الحماية
توصي جوجل باستخدام أداة فحص الروابط في Google Search Console لمعرفة كيفية تقديم صفحات الويب عبر CDN. كما يمكن التحقق من قوائم الحظر ومقارنتها بقائمة عناوين IP الرسمية لجوجل للتأكد من عدم حظر Googlebot.
تقدم جوجل النصيحة التالية لإجراء تصحيح على مستوى CDN:
- “إذا كنت بحاجة إلى ظهور موقعك في محركات البحث، نوصي بشدة بالتحقق من إمكانية وصول الزواحف إلى موقعك. قد تُضاف عناوين IP إلى قائمة الحظر تلقائيًا دون علمك، لذا يُفضل التحقق من قوائم الحظر دوريًا لضمان نجاح موقعك في البحث وما بعده.”
خاتمة
تعتبر شبكات تسليم المحتوى (CDNs) أداة قوية لتحسين تجربة المستخدم وزيادة الزحف، ولكن يجب استخدامها بحذر لتجنب التأثير السلبي على الزحف وفهرسة محركات البحث. باتباع إرشادات جوجل، يمكن تصحيح أي مشكلات وتحقيق أداء أمثل في محركات البحث.
