أخطاء وعدم اتساق: بحث ChatGPT يخيب الآمال في الاختبار الواقعي!! 😏
إعلان طموح يواجه انتقادات
في أكتوبر الماضي، أعلنت شركة OpenAI بفخر عن ميزة البحث الجديدة في ChatGPT، والتي وُصفت بأنها الثورة القادمة في محركات البحث. وفقًا للشركة، فإن دمج مهارات المحادثة الخاصة بـ ChatGPT مع قدرات البحث في الوقت الفعلي صُمم لتقديم معلومات أكثر فائدة مقارنة بالقوائم التقليدية للروابط. ومع ذلك، يشير تقرير نُشر مؤخرًا عن مركز الصحافة الرقمية بجامعة كولومبيا إلى أن هذا الإعلان كان مبالغًا فيه.
نتائج مخيبة للآمال
حلل التقرير 200 اقتباس مأخوذ من 20 موقع محتوى مختلف، وكشف أن قدرات ChatGPT في تحديد المصادر بعيدة عن الكمال. ففي بعض الحالات، تمكن الذكاء الاصطناعي من تحديد المصدر الصحيح للاقتباسات، ولكن في حالات أخرى نسب الاقتباسات إلى مصادر خاطئة أو حتى اخترع مصادر جديدة. حتى المنشورات التي تتعاون مع OpenAI، مثل The Wall Street Journal وThe Atlantic، أظهرت نتائج متباينة دون اتساق يُذكر.
قال الباحثون: “قمنا باختيار 10 مقالات من كل ناشر واستخرجنا اقتباسات محددة منها. تم اختيار هذه الاقتباسات لأنها عند إدخالها في محركات بحث مثل جوجل أو بينج، كانت تعيد المقال الأصلي بين النتائج الثلاثة الأولى. بعد ذلك، قمنا بتقييم ما إذا كانت أداة البحث الجديدة في ChatGPT قد حددت المصدر الأصلي بدقة لكل اقتباس”.
مشكلات الدقة والمصادر
لم تكن مشكلة الدقة مقتصرة على المنشورات التي تمنع OpenAI من الوصول إلى محتواها. حتى المنشورات التي لديها اتفاقيات ترخيص مع الشركة ظهرت فيها أخطاء كبيرة في تحديد المصادر. مثال بارز هو نسب مقالة خاطئًا إلى Time أو الإشارة إلى مقالات من مواقع أعادت نشر المحتوى دون إذن.
سبب المشكلة
إحدى المشكلات الأساسية تكمن في طريقة عمل ChatGPT. يعتمد النموذج على مسح محتوى الإنترنت، ولكن حتى عند تنفيذ هذه العملية بشكل صحيح، قد ينتج إجابات خاطئة أو يخترع معلومات. المشكلة تزداد سوءًا عندما تكون هناك قيود على الوصول إلى المحتوى، حيث يعتمد النظام على مصادر من طرف ثالث تنشر المحتوى دون موافقة.
نتائج الدراسة
من بين 200 اختبار، قدم ChatGPT إجابات خاطئة أو غير مكتملة في 153 حالة. وفي 7 حالات فقط، اعترف النظام بعدم قدرته على تقديم إجابة دقيقة، مستخدمًا عبارات حذرة مثل “قد يكون” أو “لم أتمكن من العثور على المقال المحدد”. هذه النتائج تثير القلق بشأن مصداقية ChatGPT وإمكانية تأثيره السلبي على سمعة المنشورات التي يقتبس منها.
رد OpenAI
ردت OpenAI على النتائج بالقول إن منهجية البحث لا تعكس الاستخدام الفعلي للنظام، وأكدت أنها تعمل باستمرار على تحسين النتائج. ومع ذلك، تثير النتائج تساؤلات حول قدرة ChatGPT على تقديم إجابات موثوقة تستند إلى مصادر دقيقة. وإذا استمرت هذه المشاكل، فقد تؤثر سلبًا على ثقة المستخدمين بالنظام، وكذلك على الصحافة التي يلخصها ويقتبس منها.
ميزة البحث في ChatGPT كانت واعدة عند إطلاقها، لكنها واجهت تحديات كبيرة في تحقيق الدقة والاتساق. مع استمرار OpenAI في تحسين النظام، يبقى التساؤل مفتوحًا حول ما إذا كان يمكن الاعتماد عليه لتقديم معلومات دقيقة وموثوقة في المستقبل.