تحذير من جوجل: احذروا من حركة المرور المزيفة لـ Googlebot

تحذير جوجل بشأن Googlebot

حذّر مارتن سبليت، مستشار المطورين في جوجل، مالكي المواقع من حركة المرور التي تبدو وكأنها صادرة من Googlebot، موضحًا أن العديد من الطلبات التي تدّعي أنها من Googlebot تكون في الحقيقة من برامج طرف ثالث تقوم بالنسخ والتمحيص.

جاء هذا التحذير في الحلقة الأخيرة من سلسلة SEO Made Easy التي تقدّمها جوجل، حيث شدّد سبليت على أن:

“ليس كل من يدّعي أنه Googlebot هو فعلاً Googlebot.”

لماذا هذا التحذير مهم؟

الزواحف المزيفة يمكنها:

• تشويه بيانات التحليلات.
• استهلاك موارد الخادم.
• صعوبة تقييم أداء الموقع بدقة.

إليك كيفية التمييز بين حركة المرور الحقيقية لـ Googlebot والزواحف المزيفة.

طرق التحقق من Googlebot

يمكنك التمييز بين حركة المرور الحقيقية لـ Googlebot والمزيفة عبر مراقبة أنماط حركة المرور عمومًا، بدلاً من الاكتفاء بطلبات غريبة منفردة.

الخصائص المميزة لـ Googlebot الحقيقي:

• تكرار الطلبات يكون منتظمًا.
• توقيت الطلبات وسلوكها يكون مستقرًا.

إذا كنت تشك في وجود نشاط مزيّف يدّعي أنه Googlebot، ينصح سبليت باستخدام الأدوات التالية للتحقق:

أداة فحص URL في Search Console

• البحث عن محتوى معين في HTML المُقدّم يؤكد أن Googlebot يمكنه الوصول إلى الصفحة بنجاح.
• توفر القدرة على إجراء اختبارات مباشرة للتحقق من حالة الوصول الحالية.

اختبار النتائج المنسّقة (Rich Results Test)

• يعمل كطريقة بديلة للتحقق من وصول Googlebot.
• يعرض كيف يقوم Googlebot بعرض الصفحة.
• يمكن استخدامه حتى بدون الوصول إلى Search Console.

تقرير إحصائيات الزحف (Crawl Stats Report)

• يُظهر بيانات استجابة الخادم بالتفصيل للطلبات المُتحقق منها من Googlebot.
• يساعد على تحديد أنماط سلوك Googlebot الحقيقي.

القيود الرئيسية

رغم فعالية الأدوات المذكورة، إلا أنها تتحقق فقط مما يراه Googlebot الحقيقي وما يفعله.
لكنها لا تكتشف مباشرة الزواحف المزيفة من خلال سجلات الخادم.

كيفية الحماية الكاملة ضد الزواحف المزيفة:

• مقارنة سجلات الخادم مع نطاقات IP الرسمية لجوجل.
• تنفيذ التحقق عبر DNS العكسي.
• استخدام الأدوات أعلاه لإنشاء خط أساس للسلوك الحقيقي لـ Googlebot.

مراقبة استجابات الخادم

شدّد سبليت أيضًا على أهمية مراقبة استجابات الخادم لطلبات الزحف، خاصة:

• أخطاء السلسلة 500.
• أخطاء جلب البيانات (Fetch Errors).
• انتهاء المهلة (Timeouts).
• مشاكل DNS.

التأثير المحتمل

هذه المشكلات قد تؤثر بشكل كبير على كفاءة الزحف والرؤية في نتائج البحث، خاصة للمواقع الكبيرة التي تستضيف ملايين الصفحات.

قال سبليت:

“انتبه إلى الردود التي يقدمها خادمك لـ Googlebot، خاصة إذا لاحظت أعدادًا كبيرة من استجابات 500، أو أخطاء الجلب، أو مشاكل المهلة الزمنية وDNS.”

وأضاف أن بعض الأخطاء قد تكون مؤقتة، لكن المشاكل المستمرة تحتاج إلى تحقيق أعمق.

تحليل سجلات الخادم

اقترح سبليت استخدام تحليل سجلات الخادم كوسيلة فعّالة لتشخيص أكثر دقة، رغم إقراره بأنه ليس أمرًا “أساسيًا” أو سهلًا للمبتدئين.

وأكد سبليت على قيمته، قائلًا:

“تحليل سجلات خادم الويب الخاصة بك… هو وسيلة قوية للحصول على فهم أعمق لما يحدث على خادمك.”

التأثير المحتمل لحركة المرور المزيفة

إلى جانب تأثيرها على الأمن، يمكن لحركة Googlebot المزيفة أن تؤثر على أداء الموقع وجهود تحسين محركات البحث.

وأشار سبليت إلى أن إمكانية الوصول إلى الموقع عبر المتصفح لا تعني بالضرورة أن Googlebot يستطيع الوصول إليه.
هناك العديد من الحواجز المحتملة، بما في ذلك:

• قيود ملف Robots.txt.
• إعدادات الجدار الناري (Firewall Configurations).
• أنظمة حماية الروبوتات.
• مشكلات توجيه الشبكة.

ما الذي يجب عمله لمواجهة المشكلة؟

الحلول المقترحة

إذا أصبحت حركة المرور المزيفة مشكلة أو استهلكت موارد الخادم بشكل كبير، يمكن اتخاذ الخطوات التالية:

• تحديد معدل الطلبات.
• حظر عناوين IP معينة.
• استخدام طرق أكثر تقدمًا لاكتشاف الروبوتات.

نظرة مستقبلية

في حين أن حركة Googlebot المزيفة قد تكون مصدر إزعاج، أوضح سبليت أنه لا ينبغي القلق كثيرًا من الحالات النادرة.

ولكن إذا أصبحت هذه النشاطات مشكلة حقيقية، هناك وسائل يمكن استخدامها لحماية الخادم وموقعك.

للمزيد من المعلومات حول هذا الموضوع، يمكنك مشاهدة الفيديو الكامل من جوجل.