گوگل نے حالیہ تحقیق میں اس بات کی تصدیق کی ہے کہ جدید ترین اے آئی چیٹ بوٹس ابھی تک مکمل طور پر قابلِ اعتماد نہیں ہو سکے۔
نئی جاری کی گئی رپورٹ کے مطابق، آج کے جدید اے آئی سسٹمز میں سے کوئی بھی 70 فیصد سے زیادہ درست معلومات فراہم کرنے میں کامیاب نہیں ہو سکا۔
گوگل کے نئے متعارف کرائے گئے FACTS Benchmark Suite کے تحت کیے گئے ٹیسٹ میں یہ بات سامنے آئی کہ سب سے بہتر کارکردگی دکھانے والا ماڈل Gemini 3 Pro بھی صرف 69 فیصد حقائق پر مبنی درستگی حاصل کر سکا۔ اس کے بعد گوگل کا Gemini 2.5 Pro اور اوپن اے آئی کا ChatGPT-5 تقریباً 62 فیصد درستگی کے ساتھ دوسرے نمبر پر رہے۔
این تھروپک کا Claude 4.5 Opus تقریباً 51 فیصد جبکہ ایلون مسک کی کمپنی xAI کا Grok 4 تقریباً 54 فیصد اسکور حاصل کر سکا۔
تحقیق کے نتائج سے واضح ہوتا ہے کہ موجودہ اے آئی چیٹ بوٹس اوسطاً ہر تین میں سے ایک مرتبہ غلط معلومات فراہم کرتے ہیں، حالانکہ ان کے جوابات بظاہر پُراعتماد اور روانی سے بھرپور ہوتے ہیں، جس کی وجہ سے صارفین اکثر انہیں درست سمجھ لیتے ہیں۔
FACTS بینچ مارک کی اہمیت
گوگل کے مطابق، یہ نیا بینچ مارک اس خلا کو پُر کرتا ہے جو پہلے موجود تھا۔ زیادہ تر پرانے ٹیسٹ اس بات کو جانچتے تھے کہ آیا اے آئی کوئی کام مکمل کر سکتا ہے یا نہیں، مگر یہ نہیں دیکھا جاتا تھا کہ اس دوران دی جانے والی معلومات حقیقت پر مبنی ہیں یا نہیں۔
یہ فرق خاص طور پر فنانس، صحت اور قانون جیسے حساس شعبوں میں انتہائی اہم ہے، جہاں غلط معلومات سنگین نتائج کا سبب بن سکتی ہیں۔ گوگل کا کہنا ہے کہ بظاہر درست اور پُراعتماد انداز میں دی گئی غلط معلومات صارفین کو گمراہ کر سکتی ہیں۔
گوگل نے حقائق کی جانچ کیسے کی؟
FACTS Benchmark Suite کو گوگل کی FACTS ٹیم نے Kaggle کے تعاون سے تیار کیا۔ اس میں چار حقیقی دنیا سے متعلق زمروں میں اے آئی کی جانچ کی گئی:
- پیرا میٹرک نالج: یہ دیکھا گیا کہ ماڈل اپنی تربیت کے دوران سیکھی گئی معلومات کی بنیاد پر حقائق سے متعلق سوالات کے درست جواب دے سکتا ہے یا نہیں۔
- سرچ پرفارمنس: ویب ٹولز استعمال کرتے ہوئے درست معلومات تلاش کرنے کی صلاحیت کا جائزہ لیا گیا۔
- گراؤنڈنگ: یہ جانچا گیا کہ ماڈل دی گئی دستاویز سے ہٹ کر کوئی غلط یا اضافی معلومات تو شامل نہیں کر رہا۔
- ملٹی موڈل سمجھ بوجھ: چارٹس، گراف، ڈایاگرام اور تصاویر کو درست طور پر سمجھنے اور ان سے صحیح معلومات اخذ کرنے کی صلاحیت کو پرکھا گیا۔
کمزور ترین شعبہ
تحقیق میں یہ بھی سامنے آیا کہ تمام ماڈلز کے لیے ملٹی موڈل ٹاسکس سب سے مشکل ثابت ہوئے، جہاں درستگی اکثر 50 فیصد سے بھی کم رہی۔ گوگل نے خبردار کیا کہ اس شعبے میں غلطیاں خاص طور پر خطرناک ہو سکتی ہیں، کیونکہ اے آئی چیٹ بوٹس اعتماد کے ساتھ چارٹس یا دستاویزات سے غلط اعداد و شمار اخذ کر لیتے ہیں، جنہیں پہچاننا عام صارف کے لیے مشکل ہو جاتا ہے۔
گوگل نے واضح کیا کہ ان نتائج کا مطلب یہ نہیں کہ اے آئی چیٹ بوٹس بے فائدہ ہیں، بلکہ یہ اس بات کی نشاندہی کرتے ہیں کہ ان پر بغیر تصدیق کے مکمل انحصار خطرناک ہو سکتا ہے۔
کمپنی کے مطابق، اگرچہ اے آئی کی درستگی میں مسلسل بہتری آ رہی ہے، لیکن انہیں قابلِ اعتماد معلومات کا واحد ذریعہ بنانے سے پہلے انسانی نگرانی، حفاظتی اقدامات اور تصدیق کا نظام اب بھی ناگزیر ہے۔
