# Agentic Ai Risk
**Source:** https://ar.airisks.net/agentic-ai-risk
**Language:** Arabic

---

مخاطر الذكاء الاصطناعي الوكيل هي احتمالية حدوث ضرر أو خسارة تنشأ عندما يتمكن نظام الذكاء الاصطناعي من اتخاذ إجراءات نحو هدف ما بتوجيه بشري محدود خطوة بخطوة. وتتزايد المخاطر عندما يتمكن النظام من استخدام الأدوات، أو تغيير البيانات، أو التواصل مع أنظمة أخرى، أو تفويض العمل لوكلاء آخرين.

قد يخطط الوكيل لسلسلة من الخطوات، أو يستدعي أدوات برمجية، أو يسترجع معلومات، أو يتصرف نيابة عن المستخدم. يمكن أن يجعل هذا المهمة أكثر كفاءة، ولكنه يوسع أيضاً من سلطة النظام. إن التفسير الخاطئ الذي قد يكون غير ضار في إجابة نصية يمكن أن تكون له عواقب أكبر إذا كان بإمكان الوكيل إرسال رسالة، أو تغيير سجل، أو إجراء عملية شراء، أو إطلاق عملية أخرى.

## التفويض يغير حدود المخاطر

يمكن أن يؤدي تفويض المهام من وكيل إلى آخر إلى صعوبة معرفة النظام الذي اتخذ القرار والتعليمات التي شكلته. قد تؤدي كل عملية تسليم إلى تغيير السياق أو الأذونات أو مستوى التحقق. يجب على المؤسسة رسم خريطة لسلسلة الوكلاء والأدوات، وتقييد وصول كل طرف إلى ما يحتاجه فقط، والاحتفاظ بسجلات تجعل الإجراءات قابلة للنسبة. كما يجب عليها اختبار كيفية تصرف السلسلة عندما يتلقى الوكيل بيانات سيئة أو هدفاً غامضاً أو تعليمات عدائية.

عندما يتفاعل العديد من الوكلاء، قد لا يكون سلوكهم المشترك قابلاً للتنبؤ من خلال اختبار كل واحد منهم على حدة. يمكن للوكلاء تكرار الإجراءات، أو تعزيز الأخطاء، أو التنافس على الموارد المشتركة، أو تمرير افتراضات معيبة. هذا الظهور متعدد الوكلاء هو مصدر قلق على مستوى النظام: فمراقبة نموذج واحد أو واجهة مستخدم واحدة فقط قد تؤدي إلى تفويت الأنشطة التي تحدث عبر سير العمل المتصل.

## يجب أن تعمل الرقابة على مستوى النظام

الرقابة البشرية تكون ذات مغزى فقط إذا كان الشخص قادرًا على فهم متى تكون التدخلات مطلوبة ويمكنه التصرف قبل أن يصبح الضرر صعب التراجع عنه. يجب أن تعكس نقاط المراجعة تأثير الإجراء وقابليته للتراجع. يمكن أتمتة الخطوات ذات التأثير المنخفض ضمن حدود واضحة؛ أما الإجراءات ذات النتائج الهامة أو الخارجية فقد تحتاج إلى تأكيد، أو موافقة ثنائية، أو وضع تشغيل مقيد.

يجب تصميم مفتاح الإيقاف الطارئ واختباره كجزء من النظام، وليس كوعْد غير رسمي. يحتاج الفريق إلى معرفة ما يوقفه المفتاح، وما إذا كان يلغي صلاحيات الأدوات والمهام المعلقة، وكيفية استعادة الخدمة بأمان. يجب أن يكون هناك مالك محدد قادر على إيقاف الوكيل مؤقتًا، بينما يمكن للمستجيبين للحوادث الاحتفاظ بالسجلات والتحقيق فيما حدث.

قبل النشر، يمكن للمؤسسات البدء بصلاحيات محدودة، واختبار في بيئة معزولة (sandbox)، ووضع حدود صريحة للإجراءات. وأثناء الاستخدام، يجب عليهم مراقبة ليس فقط جودة المخرجات، بل أيضاً استدعاءات الأدوات، وأنماط التفويض، والتغيرات في نطاق المهام، ومحاولات تجاوز الصلاحيات. يجب تكرار مراجعة المخاطر عند حدوث تغييرات في النموذج أو الأدوات أو الصلاحيات أو بيئة التشغيل.

## مصطلحات ذات صلة

- الرقابة البشرية على الذكاء الاصطناعي
- حوكمة الذكاء الاصطناعي
- البجعة السوداء للذكاء الاصطناعي

تعمق أكثر: حوكمة المؤسسات التي تعتمد على الوكلاء الذكيين