القائمة الرئيسية

تأصيل الثقة في وكلاء الذكاء الاصطناعي: دليل عملي للقيادات والمنظمات

تأصيل الثقة في وكلاء الذكاء الاصطناعي: دليل عملي للقيادات والمنظمات
ملخص المقال

غياب الأخطاء والتجاوزات عند إطلاق وكلاء الذكاء الاصطناعي ليس دليل نجاح، بل قد يكون مؤشرًا على تراجع التدقيق البشري والثقة الزائفة؛ لذلك ينبغي بناء الثقة تدريجيًا عبر ربط صلاحيات الوكيل بالأدلة والجاهزية لا بمرور الوقت، والبدء من وضع الاقتراح ثم الانتقال إلى التنفيذ الذاتي بعد إثبات انخفاض المخاطر واستقرار الأداء، مع توسيع نطاق ما يراه الوكيل قبل توسيع ما يستطيع تغييره. كما يجب قياس الفاعلية بمؤشرات تكشف جودة التفاعل الحقيقي، مثل معدلات التجاوز وإعادة العمل والتصعيد والعودة بعد الأخطاء وفتح الأدلة، بدل الاكتفاء بأرقام الاستخدام والموافقة، لأن ارتفاع الاعتماد قد يخفي انخفاضًا في مستوى المراجعة. ويتطلب ذلك أيضًا تعيين مالك واضح لكل وكيل، وفصل مسؤوليات التطوير والتشغيل والتصريح، وإتاحة آليات فورية لسحب الصلاحيات والتراجع عن القرارات، إلى جانب مراجعة بشرية فعلية تستند إلى البيانات الأصلية وتفهم أسباب قرارات الوكيل، لا مجرد الموافقة الشكلية على مخرجاته. والنجاح الحقيقي لا يكمن في سرعة نشر الوكلاء أو ارتفاع معدلات استخدامها، بل في قدرة المؤسسة على إبطاء التوسع عندما تكشف المقاييس وجود خلل، والحفاظ على رقابة بشرية واعية ومسؤولة مع اتساع استقلالية الذكاء الاصطناعي.

إن غياب التجاوزات والأخطاء تمامًا في بداية التشغيل ليس علامة نجاح، بل هو إنذار خطر؛ فأرقام الاستخدام ومعدلات الاعتماد الميداني غالبًا ما تقدم صورة مزيفة عن الواقع. هذا هو الدرس الجوهري الذي يستخلصه من خاضوا تجربة إدماج «وكلاء الذكاء الاصطناعي» (AI Agents) في بيئات العمل الفعلية.

اليوم، تتنافس منصات العمل الجماعي للتحول إلى بيئات تشغيلية تنظم عمل هؤلاء الوكلاء؛ حيث قامت شركة "Anthropic" عبر أداة "Claude Tag" بإدماج وكيل ذكي دائم داخل قنوات "Slack" يتمتع بذاكرة ممتدة وقدرة على تفويض المهام، وأضافت شركة "Salesforce" عشرات القدرات التوكيلية إلى المساعد "Slackbot"، بينما أطلقت شركة "OpenAI" وكلاء مساحات العمل. غير أن المتأمل للمشهد يدرك أن البنية التحتية التي تمكّن هؤلاء الوكلاء من التصرف المستقل تتطور بسرعة تفوق قدرة الموظفين على الاطمئنان إليها والوثوق بها. فكيف يمكن للمؤسسات ردم هذه الفجوة وبناء ثقة حقيقية؟

تتأطر الإجابة في أربعة أركان رئيسة:

  • منح الصلاحيات بناءً على الأدلة والجاهزية، لا على مرور الوقت.
  • اعتماد مقاييس أداء تعكس جودة التفاعل، بدلاً من الاكتفاء بأرقام الاستخدام.
  • إسناد كل وكيل لمالك محدد يتولى مسؤوليته الكاملة.
  • فرض رقابة فعلية ومباشرة تستند إلى التثبت، لا إلى الاعتماد الصوري.

وتترجم هذه الأركان في الميدان عبر خطوات منهجية دقيقة:

ربط الصلاحيات بالاستحقاق لا بالتقويم

تعتمد المنظمات عادةً خططًا زمنية نمطية لتطبيق التقنيات الجديدة (كإطار 30/60/90 يومًا)، بحيث تتوسع الصلاحيات تلقائيًا بمرور الوقت بغض النظر عن الكفاءة. يرى "راكشيت غورا"، المدير العام لحلول أماكن العمل الرقمية في شركة "Lenovo"، أن هذا النهج ينطوي على مخاطرة؛ إذ ينبغي تقسيم مستويات الوصول إلى أربع مراحل تبدأ من "القراءة فقط" وتتدرج حتى التصرفات ذات الأثر المالي، مع اعتبار التواريخ خطوطًا مرجعية أدنى للتقييم، وليست مواعيد حتمية لفتح الصلاحيات.

ويتفق "كارتيك كارونانيثي"، مهندس الحلول في شركة "IBM"، مع هذا الطرح مشددًا على تطبيق المنطق نفسه على المهام الفردية. يبدأ الوكيل عمله في وضع "الاقتراح فقط"، فيوصي بالإجراء دون تنفيذه، بينما يراقب الفريق معدلات القبول، والتجاوز، والتراجع، ومدى فحص الأدلة قبل الاعتماد. ولا ينتقل الوكيل إلى مرحلة "التنفيذ الذاتي" إلا عند انخفاض المخاطر، وثبات معدلات الخطأ، ووجود آلية مجربة للتراجع عن القرارات.

أما في قطاع الرعاية الصحية، فتتبع "لينا بوعياد"، مؤسسة شركتي "Applina" و"Top Health AI"، استراتيجية التدرج الحذر عند إطلاق الوكلاء الصوتيين للعيادات؛ إذ تقتصر صلاحيات اليوم الأول على جدولة المواعيد وإجابة الأسئلة الشائعة بعيدًا عن التشخيص أو العلاج. وفي اليوم الثلاثين، تُحدد قواعد التصعيد، ولا تُفتح أي صلاحيات إضافية إلا بعد مراجعة دقيقة لتفريغ المكالمات، وحصول موافقة صريحة من صاحب العيادة نفسه، وليس من الشركة المزودة للتقنية.

ويرى "كارونانيثي" أن ضبط الصلاحيات يجب أن يسبق التهيئة التقنية للذكاء الاصطناعي؛ فعند تطبيق أداة مثل "Claude Tag"، ينبغي تصدير قائمة أعضاء القنوات وأخذ موافقة مالك كل نظام مرتبط. ويتضمن اليوم الأول الامتيازات التالية:

  • حصر العمل في قناة واحدة.
  • ضبط أدوات الربط على وضع "القراءة فقط".
  • حصر الوصول في قائمة محددة على "GitHub" بدلاً من المؤسسة كاملة.
  • وضع حد صارم للإنفاق المالي.
  • تعطيل الوكيل تلقائيًا في القنوات التي تضم أعضاء خوارج (ضيوفًا).
  • توسيع نطاق ما "يراه" الوكيل قبل توسيع نطاق ما "يغيره"، وعدم الجمع بينهما في خطوة واحدة.

وفي السياق ذاته، يؤكد "أليكس غورياتشيف"، الخبير السابق في استراتيجيات الابتكار بشركة "Cisco"، على أهمية تقسيم الإطلاق إلى مراحل صغيرة قابلة للتراجع، بدلاً من الاعتماد على إطلاق شامل يصعب تصحيحه عند حدوث الخلل.

قياس الفاعلية الحقيقية للوكيل

يُعد "معدل التجاوز" (Override rate) المعيار الأكثر أهمية لدى الممارسين. وتفصّل "كولين سيفيل"، المباشرة لمشاريع نضج الذكاء الاصطناعي في مؤسسة "ISG"، هذا المعيار إلى ثلاثة سلوكيات أساسية:

معدل إعادة العمل: ويقصد به قيام الموظفين بإعادة تنفيذ المهمة بأنفسهم لعدم ثقتهم بمخرجات الوكيل، وهو مؤشر لا تظهره لوحات التحكم القياسية ويحتاج إلى تقصٍّ مباشر.

معدل التصعيد بحسب الفئة: ويهدف إلى معرفة ما إذا كانت أخطاء الوكيل تتركز في موضوع محدد دون غيره.

معدل العودة بعد الخطأ: ويقيس مدى تقبل الموظفين للنظام واستمرارهم في استخدامه بعد صدور إجابة خاطئة.

ويضيف "كارونانيثي" مؤشرًا رابعًا يتثل في: مدى قيام الموظف بفتح الأدلة والوثائق التي استند إليها الوكيل قبل إقرار العمل. إن ارتفاع معدل الموافقات بالتزامن مع انخفاض فتح الأدلة يدل على نسيان وتعود آلي، ولا يعبر عن ثقة واعية. كما يُفضل إجراء "اختبارات فشل موجهة" قبل توسيع الصلاحيات؛ للتحقق من قدرة النظام على إيقاف العمل عند حدود معينة، واختبار فاعلية سحب الصلاحيات والتراجع عن الآثار الناجمة.

وتلخص "سيفيل" ذلك بقولها: «إن انعدام التجاوزات تمامًا يعني أن البشر كفوا عن المراجعة والتدقيق».

مراقبة التراجع الضمني في مستوى التدقيق

يجمع الخبراء على أن أرقام الاستخدام ليست دليلًا على الثقة. ففي دراسة طولية استمرت سبعة أشهر وشملت 400 مراجع وأكثر من 11,000 مراجعة برمجية، لوحظ ارتفاع نسبة الموافقة على التعديلات البرمجية المصنوعة بالذكاء الاصطناعي من 30.1% إلى 36.8%، بالتزامن مع انخفاض التعليقات التفصيلية بنسبة 22%، وزيادة وقت المراجعة بمقدار 3.5 ضعفًا. وتفسير ذلك أن المراجعين يتركون المهام في الانتظار لفترات أطول، لكنهم يدققون فيها بدرجة أقل؛ مما يعني أن زيادة الموافقات قد تعكس تهاونًا لا ثقة.

كما يراقب "غورياتشيف" مدى كثرة تعديل الموظفين لمخرجات الوكيل دون تقديم بلاغات عن أخطائه. إن تزايد التعديلات اليدوية مع ثبات حجم الشكاوى يشير إلى أن العاملين فقدوا الثقة في الأداة وبدأوا في تجاوزها عمليًا، وهو وضع «أشد خطورة من انخفاض معدلات الاستخدام، لأنه يحدث في الخفاء دون إبلاغ».

وتعتمد "بوعياد" على مقارنة أرقام ما قبل التشغيل وما بعده؛ حيث اكتشفت إحدى العيادات أن نحو 30% من المتصلين يغلقون الخط قبل الرد، وانخفضت هذه النسبة إلى 8% فقط بعد إدخال الوكيل الذكي، وهي نتيجة أثبتت نجاح التقنية للموظفين بفاعلية تفوق الشروح النظريّة.

وعندما يبدأ الوكيل في إعطاء إجابات خاطئة، تنصح "سيفيل" بتضييق نطاق المستخدمين بدلاً من إعادة تدريب النظام بشكل موسع، وذلك عبر توجيه المخرجات إلى مجموعة اختبار مصغرة لتصحيحها ميدانيًا، مع متابعة معدلات التصعيد داخل الفئات المحددة لضمان استقرار الأداء.

تحديد مسؤول مباشر لكل وكيل

تعتمد شركة "Coddy" مبدأ المسؤولية المباشرة؛ حيث يُعين مالك محدد لكل وكيل، ويكون مسؤولاً عن أخطائه تمامًا كما يُسأل عن أخطاء مرؤوسيه البشر، بحسب ما أوضحه الشريك المؤسس "نثانيل بار". يتولى هذا المسؤول اتخاذ قرارات التقييد أو التراجع، وتوثيق الحوادث التقنية بأسلوب موحد.

وفي تجربة أخرى لنشر أنظمة الذكاء الاصطناعي في مجالات الموارد البشرية والمالية وتقنية المعلومات لدى أحد عملاء "ISG"، تم تطبيق هيكل ثلاثي الفصول تفاديًا للتعثر:

فريق التطوير: ويتولى التهيئة البرمجية والتقنية للوكيل.

مالك الأعمال: ويكون مسؤولاً مباشرًا عن جودة المخرجات وتصحيح الأخطاء فور وقوعها.

جهة التصريح المستقلة: وتختص بتحديد ما يُسمح للوكيل بممارسته من صلاحيات.

إن هذا الفصل يضمن نمو صلاحيات الوكيل بالتوازي مع جاهزية العنصر البشري، وليس بمقدار ما تسمح به التقنية فحسب. وفي هذا الصدد يؤكد "كارونانيثي" على توزيع المهام وفق الآتي:

يتولى الفريق التشغيلي إدارة الصياغات (Prompts) وإجراءات الوصول.

تتولى جهة أمنية مستقلة متابعة سجلات النشاط وآليات التراجع باستخدام صلاحيات منفصلة.

يقرر مالك الأعمال ما إذا كان يحق للوكيل اتخاذ هذا النوع من القرارات أصلاً.

ويرى "كارونانيثي" أنه «إذا كان سحب الصلاحيات يتطلب عقد اجتماع للبت فيه، فأنت لا تملك آلية سحب حقيقية».

الانتقال من الاعتماد الصوري إلى المراجعة الفعالة

إن مجرد الضغط على زر الموافقة البشري لا يعبر عن رقابة حقيقية؛ إذ يكتفي بعض المراجعين بالموافقة على الملخص الذي أعده الوكيل نفسه دون الاطلاع على البيانات الأصلية، أو يوقعون على الإجابات النهائية دون معرفة طريقة الوصول إليها. كما ينتقد "غورياتشيف" المواد التدريبية التي تبني ثقة زائفة عبر تقديم شرح نظري لمرة واحدة، بدلاً من تمكين الموظفين من استجلاء عمل النظام والمساءلة الفورية لأفعاله.

ولعلاج هذه المشكلة، اعتمدت شركة "Coddy" حلاً هيكليًا أثبت نجاحه؛ حيث بات الوكيل يشرح ما ينوي فعله وأسبابه قبل التنفيذ لا بعده. وخلال أسبوعين، لمس القائمون على العمل تحولاً ملموسًا؛ إذ توقف الموظفون عن إهمال المخرجات وبدأوا في قراءتها بتمحيص، بعدما زال الشعور بأن التقنية تعمل بمعزل عنهم.

الخلاصة

إن خريطة الطريق لإطلاق ناجح ومسؤول لوكلاء الذكاء الاصطناعي تتلخص في المبادئ التالية:

إناطة الصلاحيات بالأدلة والجاهزية، لا بالجدول الزمني.

تقييم الأداء بمعدلات التجاوز والتصعيد، لا بعدد مرات الاستخدام.

تحديد مالك مسؤول لكل وكيل، بدلاً من إسناد الأمر للجان مشتركة.

توفير الأدلة والوثائق الأصلية أمام المراجع، بدلاً من الاعتماد على ملخصات مبنية على الثقة المجهولة.

إن تطبيق هذه الخطوات لا يتطلب تقنيات جديدة، بل يستلزم شجاعة تنظيمية لإبطاء وتيرة النشر متى ما دعت المقاييس إلى ذلك. ويبقى الرهان الحقيقي في مدى قدرة الإدارات والجهات التمويلية على الالتزام بهذه الضوابط، عندما يقعون تحت ضغط المطالبة بإظهار أرقام استخدام مرتفعة.

المصدر

مقالات ذات صلة