أوضحت جوجل أفضل الممارسات المتعلقة بملف robots.txt وشرحت متى يجب استخدام توجيهات robots.txt أو العلامة “noindex” لتحقيق تحسين محركات البحث (SEO) بشكل فعال.
في فيديو حديث على يوتيوب، قام مارتن سبليت، ممثل المطورين في جوجل، بتوضيح الفروقات بين العلامة “noindex” في وسوم الميتا الخاصة بالروبوتات والأمر “disallow” في ملفات robots.txt.
وأشار سبليت إلى أن كلا الطريقتين تساعدان في إدارة كيفية تعامل محركات البحث مع المواقع الإلكترونية، ولكنهما تخدمان أغراضًا مختلفة ولا ينبغي استخدامهما كبديلين لبعضهما البعض.
متى تستخدم “Noindex”؟
يشير توجيه “noindex” إلى محركات البحث بعدم تضمين صفحة معينة في نتائج البحث. يمكن إضافة هذا التوجيه في قسم HTML head باستخدام وسم الميتا للروبوتات أو عبر ترويسة HTTP X-Robots.
استخدم “noindex” عندما ترغب في منع ظهور صفحة في نتائج البحث مع السماح لمحركات البحث بقراءة محتوى الصفحة. يكون هذا مفيدًا للصفحات التي يجب أن تكون مرئية للمستخدمين ولكن لا ترغب في عرضها في نتائج البحث، مثل صفحات الشكر أو صفحات نتائج البحث الداخلية.
متى تستخدم “Disallow”؟
يقوم توجيه “disallow” في ملف robots.txt الخاص بالموقع بمنع محركات البحث من الوصول إلى عناوين URL أو أنماط معينة. عندما يتم منع صفحة باستخدام “disallow”، لن تقوم محركات البحث بالزحف إلى محتواها أو فهرسته.
ينصح سبليت باستخدام “disallow” عندما ترغب في منع محركات البحث تمامًا من استرداد أو معالجة صفحة معينة. يكون هذا مناسبًا للمعلومات الحساسة، مثل بيانات المستخدمين الخاصة، أو للصفحات التي ليست ذات صلة بمحركات البحث.
الأخطاء الشائعة التي يجب تجنبها
من الأخطاء الشائعة التي يقع فيها مالكو المواقع استخدام “noindex” و”disallow” معًا لنفس الصفحة. يحذر سبليت من ذلك لأنه قد يؤدي إلى مشكلات.
إذا تم منع الصفحة في ملف robots.txt، فلن تتمكن محركات البحث من رؤية أمر “noindex” في وسم الميتا أو ترويسة X-Robots. ونتيجة لذلك، قد يتم فهرسة الصفحة، ولكن بمعلومات محدودة.
لإيقاف ظهور صفحة في نتائج البحث، يوصي سبليت باستخدام أمر “noindex” دون منع الصفحة في ملف robots.txt.
توفر جوجل تقريرًا خاصًا بملف robots.txt في أداة Google Search Console لاختبار ومراقبة كيفية تأثير ملفات robots.txt على فهرسة محركات البحث.
لماذا هذا مهم؟
فهم الاستخدام الصحيح لتوجيهات “noindex” و”disallow” أمر أساسي للمحترفين في مجال تحسين محركات البحث (SEO).
باتباع نصائح جوجل واستخدام أدوات الاختبار المتاحة، يمكنك ضمان ظهور المحتوى الخاص بك في نتائج البحث بالطريقة التي تريدها.
المصدر: searchenginejournal
