مخاطر هلوسة الذكاء الاصطناعي

هلوسة الذكاء الاصطناعي هي مخرجات يقدمها نظام الذكاء الاصطناعي على أنها معقولة أو واقعية ولكنها خاطئة أو غير مدعومة أو غير متسقة مع موادها المصدرية. في النماذج اللغوية التوليدية، يمكن للصياغة الطليقة أن تجعل التفاصيل المختلقة تبدو موثوقة حتى عندما لا يكون لدى النموذج أساس يمكن الاعتماد عليه لها.

تولد النماذج اللغوية النص عن طريق تقدير التكملات المحتملة من الأنماط الموجودة في تدريبها وسياقها. وهي لا تتحقق تلقائياً من كل ادعاء مقابل مصدر تم التحقق منه. لذا، فإن طلب اقتباس دقيق، أو حقيقة مفقودة من المطالبة، أو سؤال غير عادي يمكن أن ينتج محتوى واثقاً ولكنه غير صحيح. يمكن لأدوات الاسترجاع، والتأريض، والتحقق أن تقلل من بعض الأخطاء، لكن لكل منها حدود ويمكن أن تفشل بطريقتها الخاصة.

البنية والحوكمة

الهلوسة هي خاصية من خصائص البنية وليست فشلاً فيها. هذا لا يعني أن كل مخرجات غير دقيقة هي غير ضارة أو أنه يجب على المؤسسات قبولها دون ضوابط. بل يعني أن الحوكمة يجب أن تخطط للأخطاء المحتملة كسلوك متوقع للنظام، بدلاً من التعامل مع النموذج كقاعدة بيانات تحتاج فقط إلى تصحيح عرضي.

يجب أن يتناسب مستوى التدقيق مع عواقب الاستخدام. قد يحتاج مساعد العصف الذهني إلى تذكير واضح بأن الاقتراحات تتطلب مراجعة. أما النظام المستخدم في القرارات الطبية أو القانونية أو المالية أو المتعلقة بالتوظيف، فيحتاج إلى تحقق أقوى ومصادر موثوقة ومراجعة موثقة وحدود واضحة لما يمكنه اتخاذ قرار بشأنه. يجب أن يمتلك المراجع البشري المعلومات والوقت للتحقق من الإجابة، بدلاً من مجرد الموافقة على شاشة مليئة بالنصوص المنسابة.

قلل من التعرض للأخطاء واجعلها مرئية

يمكن للمؤسسات اختبار أنماط الفشل المحتملة قبل النشر، بما في ذلك المعلومات المفقودة، والمطالبات الغامضة، والمدخلات العدائية. يجب عليهم قياس الدقة الواقعية في المهام التمثيلية، وفحص الاستشهادات وروابط المصادر، واختبار ما إذا كان النظام يشير إلى عدم اليقين بشكل مناسب. يجب أن يستمر التقييم بعد الإصدار لأن التغييرات في المطالبات والنماذج ومصادر الاسترجاع وسلوك المستخدم يمكن أن تغير النتائج.

يمكن للتصميم أن يجعل التحقق أسهل: عرض المواد المصدرية، والتمييز بين الحقائق المسترجعة والصياغة التي تم إنشاؤها، ومنح المستخدمين طريقة مباشرة للإبلاغ عن الأخطاء. يجب أن تحدد السياسات المخرجات التي تتطلب تأكيداً مستقلاً وتحظر استخدام الإجابات غير المدعومة كأساس وحيد للقرارات ذات التأثير العالي. يمكن أن يكشف الإبلاغ عن الحوادث عن أنماط متكررة ويوجه التحديثات للتدريب أو المطالبات أو عناصر التحكم أو الاستخدام المقصود.

يحتاج المستخدمون أيضًا إلى توجيه مفاده أن الطلاقة ليست دليلاً على الصحة. إذا كان المخرج يؤثر على شخص آخر، أو على المال، أو السلامة، أو سجل رسمي، فإن المسؤولية تظل تقع على عاتق الأشخاص والمؤسسة التي تستخدم النظام. السؤال ذو الصلة ليس ما إذا كان النموذج يمكن أن يخطئ أحيانًا، بل ما إذا كان النظام مصممًا بحيث يمكن العثور على الأخطاء واحتواؤها وتصحيحها قبل أن تتسبب في ضرر يمكن تجنبه.