وكلاء الذكاء الاصطناعي: الفرص والمخاطر وسبل تخفيف المخاطر

مقدمة

الذكاء الاصطناعي (AI) يُحدث ثورة في طريقة تفاعل الناس مع العالم من حولهم. مع استمرار تطور تقنيات الذكاء الاصطناعي، تُفتح أمامنا فرص جديدة وتُحلّ مشكلات معقدة في مجالات متنوعة مثل القطاع المالي، والرعاية الصحية، والبيئة، والتعليم، والرياضة. ندخل الآن عصرًا تتبنى فيه المنشآت وكلاء الذكاء الاصطناعي AI Agents لتحويل عملياتها، ومضاعفة الإنتاجية في شتى الوظائف المختلفة، وتسريع تحقيق القيمة المستهدفة.

الوكيل الذكي هو برنامج يستخدم تقنيات الذكاء الاصطناعي، ويتمتع بالقدرة على فهم بيئته واتخاذ قرارات وتنفيذ إجراءات لتحقيق أهداف محددة. أي أنه لا يكتفي بتنفيذ الأوامر، بل يختار ما يجب فعله، وينفذ ذلك بفاعلية.

وكلاء الذكاء الاصطناعي ليس مفهوماً جديدًا؛ فقد تطور من وكلاء بسيطين قائمين على قواعد مبرمجة مسبقًا، إلى وكلاء متقدمين مدعومين بنماذج لغوية ضخمة (LLMs) ذات إمكانيات هائلة تُستخدم اليوم في مختلف القطاعات.

أما أنظمة الذكاء الاصطناعي الوكيلة (Agentic AI systems)، فهي أنظمة برمجية متكاملة تعتمد على وكلاء أذكياء، وتُزوَّد بعناصر مساندة مثل الأدوات، والذاكرة، ومخططات العمل، ومصادر البيانات. هذه الأنظمة مصممة لتحقيق أهداف محددة، ويمكنها العمل باستقلالية، بل ويمكن تسخيرها للتحكم بأجهزة مادية أيضًا، رغم أنها برمجيات في الأصل.

تُعد IBM من الشركات الرائدة عالميًا في مجال الذكاء الاصطناعي والحوسبة السحابية الهجينة. ومن خلال فرقها البحثية، ومنتجاتها، واستشاراتها، وشراكاتها الواسعة — بالإضافة إلى مجلس أخلاقيات الذكاء الاصطناعي — تساعد IBM المؤسسات على الاستفادة من إمكانات الوكلاء القوية.

من أبرز أمثلة هذه الوكلاء:
???? وكيل هندسة البرمجيات من IBM Research®
???? خدمات تكامل الذكاء الاصطناعي من IBM Consulting®
???? إطار Granite BeeAI Agent
???? حلول IBM watsonx Orchestrate™ و watsonx.ai®

ومع تسارع تطور تقنيات الذكاء الاصطناعي، تزداد قدرات هؤلاء الوكلاء، مما يطرح تساؤلات أخلاقية ومجتمعية ملحّة.

ويستعرض هذا التقرير رؤية IBM الحالية حول أخلاقيات وحوكمة وكلاء الذكاء الاصطناعي، باعتباره الإصدار الأول ضمن سلسلة مستقبلية ستغطي جوانب أوسع من نهج الشركة تجاه هذه القضايا الجوهرية.

ملاحظة: في هذا التقرير، يُستخدم مصطلح ""وكيل الذكاء الاصطناعي"" و""نظام الذكاء الاصطناعي الوكِيل"" بالتبادل.

الفوائد
يمكن لوكلاء الذكاء الاصطناعي تحسين كفاءة أداء البشر للمهام وتحقيق النتائج التجارية بشكل ملحوظ. تشمل هذه الفوائد:

تعزيز الذكاء البشري
يمكن لوكلاء الذكاء الاصطناعي الاندماج في سير العمل للمساعدة في تقليل الوقت المستغرق في إنجاز المهام، وتعزيز أداء الإنسان. على سبيل المثال، يتكون نظام وكيل الذكاء الاصطناعي SWE-1.0 من IBM من وكيل محلي ووكيل تحرير يندمجان في سير عمل GitHub لمساعدة المطورين عبر تقليل الوقت الذي يقضونه في اكتشاف الأخطاء وتطوير واختبار حلول لمشكلات البرمجيات.

الأتمتة
يمكن لوكلاء الذكاء الاصطناعي أتمتة المهام الروتينية أو التي تستهلك وقتًا طويلاً، مما يتيح تركيزًا أكبر على الابتكار والعمل الاستراتيجي. فعلى سبيل المثال، يستخدم مساعد IBM الرقمي AskHR وكلاء الذكاء الاصطناعي لأتمتة العمليات الشائعة في الموارد البشرية مثل دعم الموظفين وعمليات الانضمام. يعتمد هذا النظام على watsonx Orchestrate ويدعمه الذكاء الاصطناعي التوليدي. وبفضل هذه الأتمتة، يتولى AskHR الآن معالجة 94% من استفسارات الموظفين ويحل نحو 10.1 مليون تفاعل سنويًا، مما يسمح لفريق الموارد البشرية في IBM بالتركيز على مهام أكثر أهمية مثل التخطيط الاستراتيجي.

تحسين الكفاءة والإنتاجية
يمكن لوكلاء الذكاء الاصطناعي العمل بشكل مستمر، وإدارة مهام متعددة في وقت واحد، والتعامل مع تحديات معقدة. هذا يساعد على تسريع سرعة الإنجاز، وزيادة الإنتاجية، وتحسين كفاءة العمليات التجارية. على سبيل المثال، تقوم IBM بتوسيع شراكتها مع Salesforce لتوفير وكلاء ذكاء اصطناعي مُسبقين للعملاء على مدار الساعة، لدعم المبيعات والخدمات. من خلال الاستفادة من watsonx Orchestrate، ستقوم IBM بإنشاء وكلاء ذكاء اصطناعي لمنصة Agentforce، مجموعة الوكلاء المستقلين من Salesforce، لمساعدة الشركات على تحسين الإنتاجية مع الحفاظ على الأمان.

تعزيز اتخاذ القرار وجودة الاستجابات
يمكن ربط وكلاء الذكاء الاصطناعي بعدة مصادر خارجية وأدوات ووكلاء آخرين، مما يعزز قدرتهم على اتخاذ قرارات أفضل وتحسين جودة استجاباتهم. كما يمكنهم تقديم ردود شاملة وشخصية للمستخدم، مما ينعكس إيجابيًا على تجربة العملاء. على سبيل المثال، تعاونت IBM Consulting مع شركة عالمية في مجال علوم الحياة لتوحيد سلسلة من وكلاء الذكاء الاصطناعي بهدف تسريع إنتاج الوثائق الفنية المبنية على حقائق وقابلة للتتبع.

المخاطر، التحديات، والتأثيرات الاجتماعية
مثل جميع التقنيات التي تتطور بسرعة، يمكن لوكلاء الذكاء الاصطناعي أن يخلقوا مخاطر إلى جانب الفوائد. وقد ترتبط بعض هذه المخاطر بإجراءات قانونية وتنظيمية، بالإضافة إلى عواقب تتعلق بالسمعة والعمليات. بشكل عام، تثير هذه المخاطر تساؤلات اجتماعية-تقنية ويجب معالجتها والتخفيف منها عبر أساليب اجتماعية-تقنية، تشمل أدوات برمجية، عمليات تقييم المخاطر، أُطُر أخلاقيات الذكاء الاصطناعي، آليات الحوكمة، مشاورات متعددة الأطراف، المعايير والتنظيمات.

النهج
يمكن لوكلاء الذكاء الاصطناعي أداء ثلاثة أنواع من الأفعال:

• اتخاذ إجراءات تؤثر على العالم (سواء كان ذلك فيزيائيًا أو رقميًا).

• استشارة الموارد واستخدام الأدوات.

• اتخاذ القرار بشأن اختيار العمليات في تحديد الموارد/الأدوات/الوكلاء الآخرين واختيارها.

يمكن لوكلاء الذكاء الاصطناعي أداء هذه الأفعال بشكل مستقل، مما يعني أنهم قادرون على تنفيذها دون إشراف بشري مستمر.

ونظرًا لطبيعتهم، يمكن أن تتحلى وكلاء وأنظمة الذكاء الاصطناعي ذاتية الوكالة بالخصائص التالية:

• غموض، نتيجة محدودية الرؤية حول كيفية عمل الوكلاء، بما في ذلك تفاصيل عملهم الداخلي وتفاعلاتهم.

• انفتاحية في اختيار الموارد/الأدوات/الوكلاء الآخرين لتنفيذ الأفعال، مما قد يزيد من احتمالية تنفيذ أفعال غير متوقعة.

• تعقيد يتولد كنتيجة للانفتاحية ويزداد مع توسع نطاقها.

• عدم القابلية للعكس كنتيجة لاتخاذ إجراءات قد تؤثر على العالم.

تؤدي هذه الخصائص، إلى جانب مستويات الاستقلالية المختلفة التي قد تمتلكها وكلاء وأنظمة الذكاء الاصطناعي ذاتية الوكالة، إلى عدة مخاطر وتحديات وتأثيرات مجتمعية، كما هو موضح في الجداول أدناه.
نستند في ذلك إلى المخاطر والتحديات التي تم تحديدها لنماذج الأساس، ولذلك ندرج في الجداول أدناه فقط المخاطر والتحديات والتأثيرات المجتمعية المتعلقة بوكلاء الذكاء الاصطناعي التي تعتبر جديدة أو التي تزيد من حدة تلك الموجودة في جدول مخاطر نماذج الأساس.

ملاحظة: في الجداول أدناه، يُستخدم مصطلح ""وكيل الذكاء الاصطناعي"" لوصف كل من وكيل الذكاء الاصطناعي والنظام الذكي الوكالي.

المخاطر

التحديات

التأثيرات المجتمعية

التخفيف والحوكمة

مع تسارع الذكاء الاصطناعي في تحويل الأعمال، أصبح الثقة ضرورة أساسية للتنقل في بيئة أعمال تنافسية.
يتجسد التزام شركة IBM بالثقة في مبادئنا للثقة والشفافية وأركان الذكاء الاصطناعي الموثوق، ويبرز هذا التقرير نهج IBM الشامل تجاه الثقافة والعمليات والأدوات، وكيف تتعاون فرق البحث والمنتجات والاستشارات في IBM مع مجلس أخلاقيات الذكاء الاصطناعي لبناء حلول ذكية مسئولة.

مجلس أخلاقيات الذكاء الاصطناعي
أنشأت IBM ثقافة تدعم التطوير المسؤول والنشر والاستخدام الأخلاقي للذكاء الاصطناعي. في مركز الحوكمة التنظيمية لدينا، يوجد مجلس أخلاقيات الذكاء الاصطناعي متعدد التخصصات، المسؤول عن الحوكمة وعملية اتخاذ القرار المتعلقة بسياسات وممارسات أخلاقيات الذكاء الاصطناعي.
وقد تم إنشاء مجلس أخلاقيات الذكاء الاصطناعي منذ أكثر من خمس سنوات. ومن بين أنشطته العديدة، يعمل المجلس مع نقاط اتصال داخل كل وحدة أعمال في IBM لتقييم حالات استخدام الذكاء الاصطناعي وضمان توافقها مع القيم الأساسية لشركة IBM.

الحوكمة المتكاملة
برنامج الحوكمة المتكاملة (IGP) هو نهج موحد للمسؤولية والامتثال. من خلال إنشاء رؤية شاملة ونهاية إلى نهاية للبيانات والنماذج التي تم إنشاؤها واستخدامها، يقوم البرنامج بتوسيع نطاق تدفقات عمل الحوكمة المتعلقة بالبيانات والخصوصية والذكاء الاصطناعي دون تعطيل الابتكار وعمليات الأعمال. لقد مكّن برنامج الحوكمة المتكاملة شركة IBM من نشر معايير بيانات داخلية موحدة، مما يتيح الشفافية في البيانات وتطوير ذكاء اصطناعي موثوق، مع السماح أيضاً بالابتكار على نطاق واسع.

المنتجات والعروض

• IBM watsonx.governance® تمكّن المؤسسات من دفع الذكاء الاصطناعي المسؤول، الشفاف، والقابل للتفسير. توفر قدرات حوكمة كاملة عبر دورة حياة الذكاء الاصطناعي، بما في ذلك الذكاء الاصطناعي الوكالي، من طلب حالة الاستخدام حتى النشر، مع تقييم المخاطر الأولي وتقييم المخاطر للمساعدة في تحديد المخاطر مبكراً في العملية. كما تحتوي على تقنيات توليد مدعومة بالاسترجاع (RAG) ومقاييس تقييم الذكاء الاصطناعي الوكالي مثل الإخلاص، وملاءمة السياق، وتشابه الإجابة لمساعدة التحقق من تصرفات الوكلاء بشكل مناسب. كما ستضم مقاييس إضافية مصممة لمراقبة وتحسين أداء الوكلاء، وقدرات للكشف عن الهلوسة في استدعاء الأدوات، وإدارة المخاطر، ودعم الامتثال التنظيمي، وجمع البيانات الوصفية وغيرها من التفاصيل عن وكلاء الذكاء الاصطناعي في ورقة حقائق.

• IBM watsonx.ai يبسط ويوحّد ويحسن إدارة دورة حياة الوكلاء (المعروفة باسم AgentOps)، ويقدم الشفافية، والتتبع، والمرونة لاكتشاف، وإدارة، ومراقبة، وتحسين وكلاء الذكاء الاصطناعي.

• IBM watsonx Orchestrate يوظف الذكاء الاصطناعي من خلال مساعدة المستخدمين في بناء ونشر وإدارة وكلاء ذكاء اصطناعي قويين يقومون بأتمتة المهام باستخدام الذكاء الاصطناعي التوليدي. يوفر Orchestrate شفافية في طريقة تفكير الوكيل في اختيار الأدوات و/أو التعاون بين الوكلاء، ليتمكن المستخدم من فهم كيف تم إتمام مهمة أو سير عمل معين.

• IBM Guardium® AI Security يساعد العملاء على مراقبة ضوابط نماذج الذكاء الاصطناعي التوليدي بشكل مستمر أثناء الإنتاج، ويوفر نشرًا آمنًا ومسؤولًا.

عرض استراتيجية وحوكمة الذكاء الاصطناعي من IBM للاستشارات
يُمكّن عرض استراتيجية وحوكمة الذكاء الاصطناعي في IBM الاستشارات المؤسسات من الاستفادة من القدرة التحويلية للذكاء الاصطناعي المسؤول والمُنظّم — من الذكاء الاصطناعي التقليدي إلى الذكاء الاصطناعي الوكالي — المرتكز على بيانات المؤسسة لتطوير وإعادة تشكيل استراتيجيات أعمالهم. نحن ننصح العملاء بـ ""القيام بالذكاء الاصطناعي الصحيح"" لفتح العائد على الاستثمار من استثمارات الذكاء الاصطناعي، و""تنفيذ الذكاء الاصطناعي بشكل صحيح""، مما يُمكّنهم من تحمل المسؤولية عن نماذج الذكاء الاصطناعي التي يبنونها أو يشترونها، ليتمكنوا من التوسع بشكل مسؤول مع تقليل المخاطر المرتبطة باستثماراتهم.

يسلط هذا الإطار الشامل الضوء على الممارسات التي يتم تنفيذها والتوصية بها لمساعدة الشركات على التخفيف من مخاطر الذكاء الاصطناعي الوكالي:

• نُتيح إمكانية الرصد (observability) لفهم الإجراءات التي قام بها الوكيل مع البيانات المدخلة لتحديد المسؤولية عن المخرجات المقابلة.

• نفحص السجل الكامل (trace) لتحديد ما إذا كان الوكيل قد تقدم نحو الهدف العام مع كل إجراء يتم اتخاذه، لتصحيح تدفق العمليات، وتحديد نقاط الاختناق في تصميم النظام التي تؤدي إلى تكرار الإجراءات غير الضرورية أو الزائدة.

• نبني تصنيفات (ontologies) لتحسين الدقة والموثوقية، وتوفير سلسلة أصل البيانات (lineage) وموثوقيتها (provenance).

• نجري اختبارًا وظيفيًا يشمل اختبار كل مكون من مكونات النظام الوكالي بشكل منفصل (مثل الأدوات والوكلاء)، والتفاعلات بين المكونات، وقدرة النظام على اختيار الأدوات المناسبة مع المعايير والقيم الصحيحة، ووضع حواجز أمان لتقليل الثغرات.

• نضبط وكلاء الذكاء الاصطناعي لتحسين كفاءة الحساب عن طريق كشف الحالات التي يدخل فيها الوكلاء في حلقات لا نهائية محتملة، وذلك عبر تتبع الوقت المنقضي لكل مهمة، وعدد الرموز المستخدمة، أو عدد المحاولات غير الناجحة.

• نُنشئ وكلاء ذكاء اصطناعي متخصصين للغاية ونزودهم فقط بالأدوات الملائمة الضرورية لإتمام مهامهم مع التأكد من أن التنفيذ يتم دائمًا باستخدام سياق التفويض الخاص بالمستخدم الذي يصل إلى النظام.

• نحدد حواجز أمان على مستوى النموذج لكشف وتخفيف محتوى HAP (المحتوى الضار)، ومحاولات كسر الحماية (jailbreaking)، وحقن التعليمات (prompt injection)، والكشف غير المصرح به عن المعلومات الحساسة، والهلوسات.

النماذج
نماذج ""جرانيت جارديان"" (Granite Guardian) هي مجموعة قوية من التدابير الوقائية المصممة لاكتشاف المخاطر في كل من التعليمات (prompts) والاستجابات. في حالات استخدام تقنية الاسترجاع المعزز (RAG)، تقوم نماذج الحارس بتقييم ملاءمة السياق، ومدى استناد الإجابات إلى مصادر موثوقة، وملاءمة الإجابة. كما تحتوي على كاشفات للهلاوس المتعلقة باستدعاء الوظائف (function calling hallucination) داخل تدفقات عمل الوكلاء، بما في ذلك تقييم صحة استدعاءات الوظائف واكتشاف المعلومات المختلقة، خاصة أثناء ترجمة الاستعلامات.

التدخل البشري والمراقبة البشرية
تساعد المراقبة والمراجعة البشرية في التعرف على المخاطر وتصحيح الأخطاء. تضمن التحقق والتغذية الراجعة من البشر أن الإجراءات التي يتخذها وكلاء الذكاء الاصطناعي دقيقة وذات صلة ومتوافقة مع الأهداف. كجزء من عملية تقييم أخلاقيات الذكاء الاصطناعي في حالات الاستخدام لدى IBM، يُؤخذ في الاعتبار وجود التدخل البشري ويتم تطبيق المراقبة البشرية المناسبة. يوضح موقف IBM حول تعزيز الذكاء البشري (Augmenting Human Intelligence POV) نماذج لحالات الاستخدام، ومؤشرات الأداء الرئيسية، وأفضل الممارسات لتعزيز الذكاء البشري بالذكاء الاصطناعي وتمكين الأفراد من التنقل في بيئة أعمال تنافسية بالشراكة مع الذكاء الاصطناعي.

التعليم
تقدم IBM برامج تعليمية حول أخلاقيات وحوكمة الذكاء الاصطناعي عبر الفرق والعملاء والمجتمع. من الموارد التي تستخدمها IBM في هذا المجال: IBM SkillsBuild، قناة IBM Technology على يوتيوب، دورات IBM Developer watsonx، وأكاديمية IBM للذكاء الاصطناعي.

فيما يلي نستعرض أحدث الأبحاث والأدوات من IBM لمساعدة المستخدمين طوال دورة حياة وكلاء الذكاء الاصطناعي وبناء حلول ذكاء اصطناعي وكالية مسؤولة.

التقنيات والأساليب

• تقنيات مثل إجبار البشر على أخذ وقت أطول للتفكير (استراتيجية فك الارتباط المرتكزة على الوقت) تساعد في تحقيق تعاون أمثل بين الإنسان والذكاء الاصطناعي وتقليل انحياز التثبيت، حيث يعتمد البشر بشكل أعمى على قرار الذكاء الاصطناعي.

• تقنية أخرى تعتمد على إطار التعاون القيمي بين الإنسان والذكاء الاصطناعي، حيث تُدخل نوعًا من الاحتكاك من خلال دفع البشر بتوصيات القرار عند الحاجة في تفاعل الإنسان والذكاء الاصطناعي عندما يكون الإنسان هو صانع القرار النهائي.

• طرق مثل الشرح متعدد المستويات للنماذج اللغوية التوليدية، والشرح التبايني للنماذج اللغوية الكبيرة تساعد في قابلية الشرح ونسب المصدر.

• طرق مثل التعاون العدائي، حيث يقوم الذكاء الاصطناعي بتدقيق أساس قرار الإنسان بدلاً من تقديم توصيات بديلة، تساعد في معالجة تأثير الأتمتة وتراجع وكالة الإنسان على كرامته.

• Attack Atlas، تصنيف منظم وبديهي لمتجهات هجوم الإدخال ذات الدور الواحد، يوفر للمجتمع نقطة انطلاق موحدة في المجال المتنامي بسرعة لأمن الذكاء الاصطناعي التوليدي واختبار الاختراق الأحمر (red-teaming).

الأدوات والمعايير

• طرق ضبط النماذج مثل تلك المستخدمة في IBM Alignment Studio تساعد في التخفيف من مخاطر توافق القيم.

• مجموعة أدوات IBM مفتوحة المصدر AI Fairness 360 تساعد في التخفيف من مخاطر الإنصاف.

• ITBench، مجموعة من المعايير، تقدم للممارسين في مجال الذكاء الاصطناعي طريقة لقياس مدى فعالية الوكلاء الذين يبنونهم في حل المشاكل الحقيقية وكيفية مقارنة وكلائهم بالآخرين في المهام التي تنفذها الشركات يوميًا.

• Carbon for AI، نظام تصميم مفتوح المصدر من IBM، يستخدم أيقونة تفاعلية للذكاء الاصطناعي لتعزيز الشرح وفهم أوضح لقدرات الذكاء الاصطناعي.