مرحبًا بكم في عصر التجربة

الملخص
نحن نقف على أعتاب عصر جديد في مجال الذكاء الاصطناعي يُنذر بتحقيق مستوى غير مسبوق من القدرات. إذ ستكتسب جيلٌ جديد من الوكلاء قدرات تفوق القدرات البشرية، من خلال التعلم بالدرجة الأولى من التجربة. تستعرض هذه المذكرة السمات الرئيسية التي ستُعرّف هذا العصر القادم.

عصر البيانات البشرية
لقد حقق الذكاء الاصطناعي (AI) تقدمًا ملحوظًا في السنوات الأخيرة من خلال التدريب على كميات هائلة من البيانات التي أنشأها البشر، وضبط الأداء باستخدام أمثلة وتفضيلات بشرية خبيرة. ويتجسّد هذا النهج في نماذج اللغة الكبيرة (LLMs) التي بلغت مستوى مذهلًا من العمومية؛ إذ يمكن لنموذج واحد الآن أن يؤدي مهامًا تتراوح من كتابة الشعر وحل مسائل في الفيزياء إلى تشخيص المشكلات الطبية وتلخيص الوثائق القانونية.

ومع ذلك، فإن تقليد البشر، رغم كفايته لإعادة إنتاج العديد من القدرات البشرية بمستوى مقبول، لم يكن كافيًا - وربما لن يكون كافيًا - لتحقيق ذكاء يفوق المستوى البشري في العديد من المواضيع والمهام المهمة. ففي مجالات رئيسية مثل الرياضيات والبرمجة والعلوم، تقترب المعارف المستخرجة من البيانات البشرية من حدودها القصوى. فمعظم مصادر البيانات عالية الجودة — تلك القادرة فعليًا على تحسين أداء وكيل ذكي، قد تم استهلاكها بالفعل أو ستُستنفد قريبًا. كما أن وتيرة التقدم المدفوعة حصريًا بالتعلم المُوجّه من البيانات البشرية بدأت تتباطأ بشكل ملحوظ، مما يشير إلى الحاجة لنهج جديد.

علاوة على ذلك، فإن الأفكار الجديدة القيّمة، مثل النظريات العلمية الجديدة أو التقنيات الحديثة أو الاكتشافات الكبرى، تقع خارج حدود الفهم البشري الحالي، ولا يمكن التقاطها من خلال البيانات البشرية المتوفرة.

عصر التجربة

لتحقيق تقدم جوهري إضافي، هناك حاجة إلى مصدر جديد للبيانات — مصدر يتطور باستمرار مع ازدياد قوة الوكيل الذكي. فالإجراءات الثابتة لتوليد البيانات اصطناعيًا سرعان ما ستُصبح غير كافية، إذ سيتجاوزها مستوى النموذج نفسه. ويمكن معالجة ذلك بالسماح للوكلاء بأن يتعلموا بشكل مستمر من تجربتهم الخاصة، أي من البيانات التي تُولَّد من خلال تفاعلهم مع البيئة المحيطة. يقف الذكاء الاصطناعي اليوم على أعتاب مرحلة جديدة، تصبح فيها التجربة هي الوسيط الأساسي للتحسين، بل وستتجاوز في حجمها وأثرها حجم البيانات البشرية التي تعتمد عليها الأنظمة الحالية.

وقد يكون هذا التحول قد بدأ فعليًا، حتى في نماذج اللغة الكبيرة التي تمثّل الذكاء الاصطناعي القائم على الإنسان. على سبيل المثال، في مجال الرياضيات، أصبح برنامج AlphaProof مؤخرًا أول نظام يحقق ميدالية في الأولمبياد الدولي للرياضيات، متفوقًا بذلك على الأساليب التي تعتمد على البيانات البشرية وحدها. في بدايته، تم تدريب AlphaProof على ما يقارب مئة ألف برهان رياضي رسمي، جُمعت على مدار سنوات عديدة.

تم إنشاء البراهين الرسمية الأولية التي اعتمد عليها AlphaProof "" نحو مئة ألف برهان "" بواسطة رياضيين من البشر على مدار سنوات طويلة. لكن بعد ذلك، أنتج خوارزم التعلم المعزز (Reinforcement Learning - RL) الخاص بـ AlphaProof ما يقارب مئة مليون برهان إضافي، من خلال تفاعل مستمر مع نظام إثبات رسمي. وقد مكّن هذا التركيز على التعلم من التجربة التفاعلية AlphaProof من استكشاف إمكانيات رياضية تتجاوز حدود البرهانات الرسمية الموجودة مسبقًا، مما أتاح له اكتشاف حلول لمسائل جديدة ومعقدة.

وقد تحقق نجاح مماثل في مجال الرياضيات غير الرسمية (informal mathematics) من خلال استبدال البيانات التي ينشئها الخبراء ببيانات يُنتجها النموذج بنفسه؛ فعلى سبيل المثال، يؤكد العمل الأخير الذي قدمته DeepSeek ""قوة وجمال التعلم المعزز: بدلًا من تعليم النموذج صراحةً كيفية حل المشكلة، نكتفي بتزويده بالحوافز الصحيحة، فيطوّر من تلقاء نفسه استراتيجيات متقدمة لحل المشكلات"". 

نحن نؤمن بأن قدرات مذهلة جديدة ستظهر بمجرد أن يتم تسخير الإمكانات الكاملة للتعلم القائم على التجربة. ومن المرجّح أن يتميّز هذا عصر التجربة بوجود وكلاء وبيئات قادرة، إلى جانب تعلمها من كميات هائلة من البيانات التجريبية، على تجاوز القيود التي تفرضها أنظمة الذكاء الاصطناعي القائمة على الإنسان، وذلك على عدة مستويات أخرى أيضًا.

• لن يقتصر تفاعل الوكلاء على لقطات قصيرة أو مواقف محدودة، بل سيعيشون داخل تدفقات مستمرة من التجربة.

• لن تكون أفعالهم وملاحظاتهم مقتصرة على الحوار مع البشر فقط، بل ستنبع من تفاعلهم المباشر والغني مع بيئتهم المحيطة.

• ستعتمد المكافآت التي يتلقونها على ما يختبرونه بأنفسهم داخل البيئة، بدلًا من أن تُحدد مسبقًا وفقًا لأحكام أو تقييمات بشرية.

• سيفكرون ويخططون استنادًا إلى تجاربهم الخاصة، لا من خلال مفاهيم أو معايير بشرية فقط.

نعتقد أن التقنيات المتوفرة اليوم، إذا اقترنت بخوارزميات مختارة بعناية، تشكّل بالفعل أساسًا قويًا بما يكفي لتحقيق هذه الطفرات. علاوة على ذلك، فإن تبنّي هذا التوجّه من قِبل مجتمع الذكاء الاصطناعي سيدفع نحو ابتكارات جديدة في هذا المسار، مما سيسرّع من تطور الذكاء الاصطناعي باتجاه وكلاء يفوقون القدرات البشرية بحق.

مسار التجربة

يمكن للوكيل القائم على التجربة أن يستمر في التعلم طوال فترة حياته. في عصر البيانات البشرية، ركّز الذكاء الاصطناعي القائم على اللغة بشكل كبير على حلقات تفاعل قصيرة؛ على سبيل المثال، يطرح المستخدم سؤالًا، وبعد بعض خطوات التفكير أو استخدام الأدوات، يجيب الوكيل. وعادةً، لا يتم نقل الكثير من المعلومات (أو لا يتم نقل أي معلومات) من حلقة تفاعل إلى أخرى، مما يمنع حدوث أي تكيف مع مرور الوقت. بالإضافة إلى ذلك، يهدف الوكيل في الغالب إلى تحقيق نتائج ضمن الحلقة الحالية فقط، مثل الإجابة المباشرة على سؤال المستخدم.

على النقيض من ذلك، يعيش البشر (وكذلك الحيوانات الأخرى) ضمن مسارات أو تيارات مستمرة من الأفعال والملاحظات تمتد لسنوات عديدة. تنتقل المعلومات عبر هذه المسارات بأكملها، ويتكيف سلوكهم بناءً على التجارب السابقة من أجل تصحيح الأخطاء وتحسين الأداء. كما أن الأهداف قد تُحدد على أساس أفعال وملاحظات تمتد إلى مستقبل بعيد ضمن هذه المسارات. على سبيل المثال، قد يختار الإنسان أفعاله بهدف تحقيق أهداف طويلة الأمد مثل تحسين صحته، أو تعلم لغة جديدة، أو تحقيق اكتشاف علمي.

ينبغي للوكيل القوي أن يمتلك مسارًا خاصًا به من التجارب يتطور، مثل الإنسان، على مدى فترة زمنية طويلة. وهذا سيمكن الوكيل من اتخاذ إجراءات لتحقيق أهداف مستقبلية، والتكيف المستمر مع أنماط سلوك جديدة مع مرور الوقت.
فعلى سبيل المثال، يمكن لوكيل صحي متصل بأجهزة قياس نشاط المستخدم أن يراقب أنماط النوم، ومستويات النشاط، والعادات الغذائية على مدار أشهر عديدة. ومن ثم يمكنه تقديم توصيات شخصية، وتشجيع، وتعديل إرشاداته بناءً على الاتجاهات طويلة الأمد والأهداف الصحية المحددة للمستخدم. وبالمثل، يمكن لوكيل تعليمي مخصص متابعة تقدم المستخدم في تعلّم لغة جديدة، وتحديد الفجوات المعرفية لديه، والتكيف مع أسلوب تعلمه، وضبط طرق التدريس الخاصة به على مدار أشهر أو حتى سنوات.

علاوة على ذلك، يمكن لوكيل علمي أن يسعى لتحقيق أهداف طموحة، مثل اكتشاف مادة جديدة أو تقليل انبعاثات ثاني أكسيد الكربون. في هذه الحالة، يمكن للوكيل تحليل الملاحظات الواقعية على مدى فترة طويلة، وتطوير وتشغيل محاكيات، واقتراح تجارب أو تدخلات عملية في العالم الحقيقي.

في كل حالة، يتخذ الوكيل تسلسلًا من الخطوات بهدف تعظيم النجاح على المدى الطويل بالنسبة للهدف المحدد. قد لا توفر الخطوة الواحدة فائدة فورية، وربما تكون ضارة على المدى القصير، لكنها مع ذلك تسهم بشكل عام في تحقيق النجاح المستدام على المدى البعيد. وهذا يختلف تمامًا عن أنظمة الذكاء الاصطناعي الحالية، التي تقدم ردودًا فورية على الطلبات دون أي قدرة على قياس أو تحسين العواقب المستقبلية لأفعالها على البيئة المحيطة.

الأفعال والملاحظات

في عصر التجربة، سيعمل الوكلاء بشكل مستقل في العالم الحقيقي. في عصر البيانات البشرية، ركزت نماذج اللغة الكبيرة (LLMs) بشكل رئيسي على أفعال وملاحظات موجهة للبشر، حيث تقوم بإخراج النصوص للمستخدم، وتستقبل النصوص من المستخدم لإدخالها مجددًا في النظام. وهذا يختلف بشكل واضح عن الذكاء الطبيعي، حيث يتفاعل الحيوان مع بيئته من خلال التحكم الحركي والحواس. وعلى الرغم من أن الحيوانات، وبشكل خاص البشر، قد تتواصل مع بعضها عبر اللغة، إلا أن ذلك يحدث من خلال نفس واجهة التحكم الحسي الحركي، وليس عبر قناة مميزة خاصة.

لقد كان معروفًا منذ فترة طويلة أن نماذج اللغة الكبيرة يمكنها أيضًا تنفيذ أفعال في العالم الرقمي، مثل استدعاء واجهات برمجة التطبيقات (APIs) . في البداية، كانت هذه القدرات تعتمد إلى حد كبير على أمثلة بشرية لاستخدام الأدوات، وليس على تجربة الوكيل نفسه. لكن قدرات البرمجة واستخدام الأدوات تطورت تدريجيًا بالاعتماد على ردود الفعل الناتجة عن التنفيذ، حيث يقوم الوكيل فعليًا بتشغيل الكود ومراقبة النتائج. مؤخرًا، بدأ جيل جديد من الوكلاء التجريبيين يتفاعل مع الحواسيب بطريقة أكثر عمومية، باستخدام نفس الواجهة التي يستخدمها البشر للتحكم في الحاسوب.

تشير هذه التطورات إلى انتقال من تواصل يقتصر على القنوات الموجهة للبشر، إلى تفاعلات أكثر استقلالية يتمكن فيها الوكيل من التصرف بشكل مستقل في العالم. سيتمكن هؤلاء الوكلاء من استكشاف العالم بنشاط، والتكيف مع البيئات المتغيرة، واكتشاف استراتيجيات قد لا تخطر على بال البشر أبدًا.
توفر هذه التفاعلات الغنية وسيلة لفهم العالم الرقمي والسيطرة عليه بشكل مستقل.

قد يستخدم الوكيل أفعالًا وملاحظات ""مناسبة للبشر""، مثل واجهات المستخدم، التي تسهل بشكل طبيعي التواصل والتعاون مع المستخدم. وقد يتخذ أيضًا أفعالًا ""مناسبة للآلات""، مثل تنفيذ الأكواد واستدعاء واجهات البرمجة، مما يتيح له التصرف بشكل مستقل لخدمة أهدافه.
في عصر التجربة، سيتفاعل الوكلاء أيضًا مع العالم الحقيقي عبر واجهات رقمية. على سبيل المثال، قد يقوم وكيل علمي بمراقبة حساسات بيئية، أو تشغيل تلسكوب عن بُعد، أو التحكم بذراع روبوتية في مختبر لإجراء تجارب بشكل مستقل.

المكافآت

ماذا لو كان بإمكان الوكلاء الذين يتعلمون من التجربة أن يستفيدوا من الأحداث والإشارات الخارجية، وليس فقط من تفضيلات البشر؟
عادةً ما تقوم نماذج اللغة الكبيرة التي تركز على البشر بتحسين أدائها بناءً على مكافآت مستمدة من تقييم بشري مسبق: حيث يقوم خبير بمراقبة تصرف الوكيل ويقرر ما إذا كان هذا التصرف جيدًا، أو يختار أفضل تصرف بين عدة خيارات متاحة للوكيل. على سبيل المثال، قد يقيم خبير نصيحة وكيل صحي، أو أسلوب تدريس مساعد تعليمي، أو تجربة مقترحة من وكيل علمي.
لكن هذه المكافآت أو التفضيلات التي يحددها البشر بدون النظر إلى عواقبها الفعلية على البيئة، ليست مبنية بشكل مباشر على واقع العالم. الاعتماد على التقييم البشري بهذه الطريقة يؤدي عادةً إلى حد أقصى غير قابل للتجاوز في أداء الوكيل؛ إذ لا يستطيع الوكيل اكتشاف استراتيجيات أفضل غير مقدرة بشكل كافٍ من قبل المقيم البشري.
لكي يتمكن الوكيل من اكتشاف أفكار جديدة تتجاوز المعرفة البشرية الحالية، من الضروري استخدام مكافآت قائمة على الواقع، أي إشارات تنبع من البيئة نفسها.

على سبيل المثال، يمكن لوكيل صحي أن يربط أهداف صحة المستخدم بمكافآت تستند إلى إشارات مثل معدل ضربات القلب في حالة الراحة، مدة النوم، ومستويات النشاط البدني. أما مساعد التعليم فيمكنه استخدام نتائج الامتحانات كمكافأة واقعية لتقييم تعلم اللغة. وبالمثل، قد يستخدم وكيل علمي يهدف إلى تقليل الاحتباس الحراري مكافأة تعتمد على الملاحظات العملية لمستويات ثاني أكسيد الكربون، بينما قد يكون الهدف في اكتشاف مادة أكثر قوة مبنيًا على مجموعة من القياسات من محاكي المواد، مثل مقاومة الشد أو معامل يونغ.

يمكن أن تنشأ المكافآت القائمة على الواقع أيضًا من البشر الذين يشكلون جزءًا من بيئة الوكيل. على سبيل المثال، قد يقوم المستخدم البشري بالإبلاغ عما إذا وجد الكعكة لذيذة، أو مدى شعوره بالإرهاق بعد ممارسة الرياضة، أو مستوى الألم الناتج عن الصداع، مما يمكن وكيل المساعدة من تقديم وصفات أفضل، وتحسين اقتراحات اللياقة البدنية، أو تعديل توصيات الأدوية.

هذه المكافآت تقيس نتائج أفعال الوكيل ضمن بيئته، ومن المفترض أن تؤدي في النهاية إلى تقديم مساعدة أفضل من تلك التي يقدمها خبير بشري يقوم بتقييم مسبق لوصفة كعكة أو برنامج تمرين أو علاج.

من أين تأتي المكافآت إذا لم تكن من بيانات البشر؟ بمجرد أن يصبح الوكلاء متصلين بالعالم من خلال فضاءات غنية للأفعال والملاحظات (كما ذُكر أعلاه)، لن يكون هناك نقص في الإشارات المرسخة التي توفر أساسًا للمكافأة. في الواقع، العالم مليء بكميات مثل التكلفة، معدلات الخطأ، الجوع، الإنتاجية، مقاييس الصحة، مقاييس المناخ، الأرباح، المبيعات، نتائج الامتحانات، النجاح، الزيارات، العوائد، الأسهم، الإعجابات، الدخل، اللذة/الألم، المؤشرات الاقتصادية، الدقة، القدرة، المسافة، السرعة، الكفاءة، أو استهلاك الطاقة. بالإضافة إلى ذلك، هناك عدد لا يحصى من الإشارات الأخرى التي تنشأ من حدوث أحداث محددة، أو من خصائص مشتقة من تسلسلات خام من الملاحظات والأفعال.

من الناحية النظرية، يمكن إنشاء مجموعة متنوعة من الوكلاء المختلفين، كلٌ منهم يحسن أداءه بناءً على إشارة مكافأة مرسخة مختلفة. هناك رأي يقول إن حتى إشارة مكافأة واحدة فقط، إذا تم تحسينها بكفاءة كبيرة، قد تكون كافية لإحداث ذكاء واسع القدرات. ويرجع ذلك إلى أن تحقيق هدف بسيط في بيئة معقدة غالبًا ما يتطلب إتقان مجموعة واسعة من المهارات.

ومع ذلك، فإن السعي وراء إشارة مكافأة واحدة لا يبدو على السطح أنه يلبي متطلبات الذكاء الاصطناعي متعدد الأغراض الذي يمكن توجيهه بشكل موثوق نحو سلوكيات محددة يرغب بها المستخدم. فهل يعني ذلك أن تحسين المكافآت المستندة إلى إشارات غير بشرية ومرسخة بشكل مستقل يتعارض مع متطلبات أنظمة الذكاء الاصطناعي الحديثة؟ نرى أن هذا ليس بالضرورة صحيحًا، من خلال عرض فكرة واحدة قد تلبي هذه المتطلبات، مع إمكانية وجود طرق أخرى أيضًا.

الفكرة هي تكييف المكافأة بشكل مرن، بناءً على الإشارات المرسخة، بطريقة موجهة من المستخدم. على سبيل المثال، يمكن تعريف دالة المكافأة بواسطة شبكة عصبية تأخذ تفاعلات الوكيل مع كل من المستخدم والبيئة كمدخل، وتُخرج مكافأة عددية (مقياس). هذا يسمح للمكافأة باختيار أو دمج الإشارات من البيئة بطريقة تعتمد على هدف المستخدم.

فعلى سبيل المثال، قد يحدد المستخدم هدفًا واسعًا مثل ""تحسين لياقتي البدنية""، وتعيد دالة المكافأة قيمة تعتمد على معدل ضربات القلب للمستخدم، مدة النوم، وعدد الخطوات المقطوعة. أو قد يحدد المستخدم هدفًا مثل ""مساعدتي على تعلم الإسبانية""، وتعيد دالة المكافأة نتائج امتحانات اللغة الإسبانية للمستخدم.

يمكن استخدام هذه النتائج (مثل نتائج امتحانات اللغة الإسبانية) لضبط دالة المكافأة بدقة. بعدها، يمكن لدالة المكافأة أن تتكيف مع مرور الوقت لتحسين طريقة اختيارها أو دمجها للإشارات، وكذلك لتحديد وتصحيح أي عدم توافق. يمكن فهم هذا أيضًا كعملية تحسين ثنائية المستوى، حيث يتم تحسين ردود فعل المستخدم كهدف أعلى مستوى، وتحسين الإشارات المرسخة من البيئة على المستوى الأدنى.

وبهذه الطريقة، قد يُمكن لكمية صغيرة من بيانات البشر أن تُسهل قدرًا كبيرًا من التعلم المستقل والذاتي.

التخطيط والتفكير

هل سيغير عصر التجربة الطريقة التي يخطط ويتفكر بها الوكلاء؟ مؤخرًا، حققنا تقدمًا ملحوظًا باستخدام نماذج اللغة الكبيرة (LLMs) التي تستطيع التفكير أو ""التفكير"" باللغة، عبر اتباع سلسلة من الأفكار قبل إصدار الرد. من الناحية المفهومية، يمكن اعتبار نماذج اللغة الكبيرة كحاسب عالمي: إذ يمكن للنموذج إضافة رموز إلى سياقه الخاص، مما يسمح له بتنفيذ خوارزميات تعسفية قبل إصدار النتيجة النهائية.

في عصر بيانات البشر، صُممت هذه الأساليب التفكيرية بشكل واضح لتقليد عمليات التفكير البشري. فعلى سبيل المثال، تم تحفيز نماذج اللغة الكبيرة لإنتاج سلاسل تفكير تشبه تلك البشرية، أو لتقليد آثار التفكير البشري، أو لتعزيز خطوات التفكير التي تتوافق مع أمثلة بشرية. كما يمكن ضبط عملية التفكير بشكل أدق لتوليد آثار تفكير تتطابق مع الإجابات الصحيحة التي يحددها خبراء بشريون.

ومع ذلك، من غير المرجح أن تكون اللغة البشرية أفضل نموذج للحاسب العالمي. فمن المؤكد أن هناك آليات تفكير أكثر كفاءة، قد تستخدم لغات غير بشرية تعتمد على الرموز، أو أنظمة موزعة، أو عمليات مستمرة، أو عمليات قابلة للتفاضل. يمكن لنظام التعلم الذاتي أن يكتشف أو يحسن مثل هذه الأساليب من خلال تعلم كيفية التفكير بناءً على التجربة. على سبيل المثال، تعلّم AlphaProof إثبات النظريات المعقدة بشكل رسمي بطريقة تختلف كثيرًا عن طريقة علماء الرياضيات البشريين.

علاوة على ذلك، مبدأ الحاسب العالمي يعالج فقط الحساب الداخلي للوكيل، لكنه لا يربطه بواقع العالم الخارجي. قد يرث الوكيل الذي تدرب على تقليد الأفكار البشرية أو حتى الإجابات الخبيرة البشرية طرق تفكير مغلوطة متجذرة في تلك البيانات، مثل الافتراضات الخاطئة أو الانحيازات المتأصلة. على سبيل المثال، لو تدرب الوكيل على التفكير والأجوبة الخبيرة منذ 5000 عام، ربما كان سيفسر المشاكل الفيزيائية بمصطلحات الروحانية؛ ومنذ 1000 عام ربما كان سيفسرها بمصطلحات دينية؛ ومنذ 300 عام كان سيفسرها وفق الميكانيكا النيوتونية؛ ومنذ 50 عامًا وفق الميكانيكا الكمومية.

وللانتقال إلى ما بعد كل طريقة تفكير من هذه الطرق، كان لابد من التفاعل مع العالم الحقيقي: صياغة فرضيات، إجراء تجارب، ملاحظة النتائج، وتحديث المبادئ وفقًا لذلك. وبالمثل، يجب أن يكون الوكيل مرتبطًا بالبيانات الواقعية ليتمكن من تجاوز طرق التفكير المغلوطة. هذه العلاقة توفر حلقة تغذية راجعة، تسمح للوكيل باختبار افتراضاته الموروثة مقابل الواقع واكتشاف مبادئ جديدة غير مقيدة بأساليب التفكير البشرية السائدة حاليًا. دون هذا الأساس الواقعي، سيظل الوكيل مهما كان متطورًا مجرد صدى للمعرفة البشرية الحالية. ولتجاوز ذلك، يجب أن يتفاعل الوكلاء بنشاط مع العالم، ويجمعوا بيانات ملاحظة، ويستخدموا تلك البيانات لتحسين فهمهم بشكل تكراري، مقلدين بذلك إلى حد كبير العملية التي قادت التقدم العلمي البشري.

إحدى الطرق الممكنة لربط التفكير مباشرة بالعالم الخارجي هي بناء نموذج للعالم يتنبأ بتبعات أفعال الوكيل على العالم، بما في ذلك التنبؤ بالمكافأة. على سبيل المثال، قد يفكر مساعد صحي في تقديم توصية بشأن صالة ألعاب رياضية محلية أو بودكاست صحي. يمكن لنموذج العالم الخاص بالوكيل أن يتنبأ بكيفية تغير معدل ضربات قلب المستخدم أو نمط نومه بعد اتخاذ هذا الإجراء، بالإضافة إلى توقع الحوار المستقبلي مع المستخدم. يتيح ذلك للوكيل التخطيط مباشرة بناءً على أفعاله وتأثيرها السببي على العالم.

وبينما يواصل الوكيل التفاعل مع العالم على مدار مسار تجربته، يتم تحديث نموذج الديناميكيات الخاص به باستمرار لتصحيح أي أخطاء في توقعاته. وبوجود نموذج للعالم، يمكن للوكيل استخدام طرق تخطيط قابلة للتوسع لتحسين الأداء المتوقع له.

طرق التخطيط والتفكير ليست متعارضة؛ فقد يستخدم الوكيل عمليات حسابية داخلية لنموذج اللغة الكبير لاختيار كل خطوة أثناء التخطيط، أو لمحاكاة وتقييم نتائج تلك الخطوات.

لماذا الآن؟

التعلم من التجربة ليس بالأمر الجديد. أنظمة التعلم المعزز (Reinforcement Learning) قد أتقنت سابقًا عددًا كبيرًا من المهام المعقدة التي تم تمثيلها في بيئات محاكاة مع وجود إشارة مكافأة واضحة (انظر تقريبًا إلى “عصر المحاكاة” في الشكل 1).
على سبيل المثال، حققت طرق التعلم المعزز أداءً يعادل أو يتجاوز الأداء البشري من خلال اللعب الذاتي في ألعاب الطاولة مثل الباكغامون، غو ، الشطرنج، البوكر، وستراتيجو؛ وألعاب الفيديو مثل أتاري، ستاركرافت 2 ، دوتا 2، وجران توريزمو ؛ ومهام التلاعب الدقيقة مثل مكعب روبيك؛ ومهام إدارة الموارد مثل تبريد مراكز البيانات .
علاوة على ذلك، أظهر وكلاء التعلم المعزز القويون مثل ألفا زيرو قدرة هائلة وقابلية للتوسع قد لا تكون محدودة، وذلك اعتمادًا على حجم الشبكة العصبية، وكمية التجربة التفاعلية، ومدة التفكير.
لكن، الوكلاء المبنيون على هذا النموذج لم يتمكنوا من تجاوز الفجوة بين المحاكاة (وهي مشكلات مغلقة ذات مكافآت واضحة ومحددة بدقة) والواقع (وهي مشكلات مفتوحة متعددة الأوجه تبدو مكافآتها غير محددة بوضوح).

قدم عصر بيانات البشر حلاً جذابًا من خلال الاعتماد على مجموعات ضخمة من بيانات اللغة الطبيعية المتنوعة التي تغطي طيفًا واسعًا من المهام. بفضل هذه البيانات، استطاع الوكلاء المدربون عليها تحقيق قدرات متعددة الأوجه تفوق نطاق النجاحات المحدودة التي شهدها عصر المحاكاة.
وبناءً عليه، تم التخلي عن منهجيات التعلم المعزز التجريبي لصالح تطوير وكلاء أكثر عمومية وشمولية، مما أدى إلى تحول واسع النطاق نحو الذكاء الاصطناعي المعتمد على بيانات البشر.

مع ذلك، جاء هذا التحول على حساب قدرة الوكلاء على اكتشاف المعرفة بأنفسهم.
فعلى سبيل المثال، نجح نظام ألفا زيرو في ابتكار استراتيجيات جديدة وثورية في ألعاب الشطرنج والجو، وهو ما أحدث تغييرًا جذريًا في طريقة لعب البشر لهذه الألعاب.
عصر التجربة الجديد يهدف إلى الجمع بين هذه القدرة على الاكتشاف الذاتي، ومستوى العمومية العالية التي تم الوصول إليها في عصر بيانات البشر.
ويتضح أن هذا سيكون ممكنًا عندما يصبح بإمكان الوكلاء التصرف والمراقبة بشكل مستقل ومستمر عبر تجاربهم الواقعية ، وعندما تكون المكافآت مرتبطة بمرونة بإشارات واقعية ومبنية على بيانات من البيئة الحقيقية.

إن ظهور وكلاء مستقلين قادرين على التفاعل مع فضاءات فعلية معقدة في العالم الحقيقي، إلى جانب تطور أساليب التعلم المعزز القوية التي تحل المشكلات المفتوحة ضمن فضاءات تفكير واستدلال متقدمة، يشير بقوة إلى أن عصر التجربة بات وشيكًا.

أساليب التعلم المعزز

يمتلك التعلم المعزز (RL) تاريخًا غنيًا متجذرًا في التعلم المستقل، حيث يتعلم الوكلاء بأنفسهم من خلال التفاعل المباشر مع بيئتهم. أدت الأبحاث المبكرة في RL إلى مجموعة من المفاهيم والخوارزميات القوية. على سبيل المثال، مكّن تعلم الفارق الزمني الوكلاء من تقدير المكافآت المستقبلية، مما أدى إلى إنجازات مثل الأداء الفائق في لعبة الطاولة . تم تطوير تقنيات استكشاف مدفوعة بالتفاؤل أو الفضول لمساعدة الوكلاء على اكتشاف سلوكيات جديدة وتجنب الوقوع في أنماط دون المستوى الأمثل . سمحت خوارزميات مثل Dyna للوكلاء ببناء نماذج لعالمهم والتعلم منها، مما مكنهم من التخطيط والتفكير في الأفعال المستقبلية . ساعدت مفاهيم مثل الخيارات والتعلم داخل وبين الخيارات على التجريد الزمني، مما أتاح للوكلاء التفكير على مدى فترات زمنية أطول وتقسيم المهام المعقدة إلى أهداف فرعية.

لكن ظهور نماذج اللغة الكبيرة المتمركزة حول الإنسان حول التركيز بعيدًا عن التعلم المستقل ونحو استغلال المعرفة البشرية. أثبتت تقنيات مثل RLHF (التعلم المعزز من خلال تغذية راجعة بشرية) وطرق موائمة النماذج مع التفكير البشري، وساهمت في تقدم سريع لقدرات الذكاء الاصطناعي. ومع ذلك، فإن هذه الأساليب غالبًا ما تجاوزت مفاهيم RL الأساسية: تجاوز RLHF الحاجة إلى دوال القيمة عبر الاعتماد على الخبراء البشر بدلاً من القيم المقدرة آليًا، قلل الاعتماد على الاستكشاف بسبب الفرضيات القوية من بيانات البشر، وقلل التفكير في مصطلحات بشرية الحاجة إلى نماذج العالم والتجريد الزمني.

يمكن القول إن هذا التحول طرح قيودًا جديدة على أداء الوكلاء، حيث لا يمكنهم تجاوز المعرفة البشرية الحالية. بالإضافة إلى ذلك، ركز عصر بيانات البشر على أساليب RL المصممة لجلسات قصيرة من التفاعل غير المؤسس على الواقع، غير مناسبة للتعامل مع تيارات طويلة من التفاعل المستقل والمؤسس على الواقع.

يقدم عصر التجربة فرصة لإعادة تقييم وتحسين مفاهيم RL الكلاسيكية. هذا العصر سيجلب طرقًا جديدة للتعامل مع دوال المكافأة المرتبطة بمرونة بالبيانات الملاحظة، وسيعيد النظر في دوال القيمة وأساليب تقديرها من تيارات طويلة ذات تسلسلات غير مكتملة، وسيقدم أساليب عملية للاستكشاف الواقعي لاكتشاف سلوكيات جديدة تختلف جذريًا عن الفرضيات البشرية السابقة، كما سيطور نماذج عالم تعكس تعقيدات التفاعلات المؤسّسة على الواقع، بالإضافة إلى أساليب جديدة للتجريد الزمني تسمح للوكلاء بالتفكير استنادًا إلى التجربة على مدى أطر زمنية أطول.
بالبناء على أسس RL وتكييف مبادئه لمتطلبات العصر الجديد، يمكننا إطلاق الإمكانات الكاملة للتعلم المستقل وتمهيد الطريق نحو ذكاء يتجاوز القدرات البشرية.

عواقب

يعد ظهور عصر التجربة، حيث يتعلم وكلاء الذكاء الاصطناعي من تفاعلهم مع العالم، بمستقبل مختلف جذريًا عما شهدناه من قبل. هذا النموذج الجديد، رغم إمكاناته الهائلة، يطرح أيضًا مخاطر وتحديات مهمة تتطلب دراسة متأنية، منها على سبيل المثال لا الحصر النقاط التالية.
من الجانب الإيجابي، سيتيح التعلم التجريبي قدرات غير مسبوقة. في الحياة اليومية، ستستخدم المساعدات الشخصية تدفقات مستمرة من التجارب لتتكيف مع احتياجات الأفراد الصحية أو التعليمية أو المهنية، وتوجههم نحو أهداف طويلة المدى تمتد على مدى شهور أو سنوات. وربما يكون أكثر ما سيحدث تحولًا هو تسريع الاكتشافات العلمية. فسيقوم وكلاء الذكاء الاصطناعي بتصميم وإجراء التجارب بشكل مستقل في مجالات مثل علوم المواد والطب وتصميم الأجهزة. ومن خلال التعلم المستمر من نتائج تجاربهم، سيتمكن هؤلاء الوكلاء من استكشاف آفاق جديدة من المعرفة بسرعة، مما يؤدي إلى تطوير مواد وأدوية وتقنيات جديدة بوتيرة غير مسبوقة.
ومع ذلك، يواجه هذا العصر الجديد أيضًا تحديات كبيرة وجديدة. بينما يؤدي أتمتة العمليات البشرية تعد بزيادة الإنتاجية، لكن هذه التحسينات قد تؤدي أيضًا إلى فقدان فرص العمل. قد يتمكن الوكلاء من إظهار قدرات كانت تُعتبر في السابق حكرًا على البشر فقط، مثل حل المشكلات طويلة الأمد، والابتكار، والفهم العميق لعواقب العالم الحقيقي.

علاوة على ذلك، بينما توجد مخاوف عامة حول سوء استخدام أي نظام ذكاء اصطناعي، فإن المخاطر قد تتزايد عند وجود وكلاء يمكنهم التفاعل بشكل مستقل مع العالم لفترات طويلة لتحقيق أهداف بعيدة المدى. بشكل افتراضي، هذا يقلل من فرص تدخل البشر والتوسط في أفعال الوكيل، مما يتطلب مستوى عالٍ من الثقة والمسؤولية. كما أن الابتعاد عن بيانات الإنسان وأنماط تفكيره قد يجعل أنظمة الذكاء الاصطناعي المستقبلية أصعب في التفسير.

ومع ذلك، وبينما نعترف بأن التعلم التجريبي قد يزيد بعض مخاطر السلامة، ومن المؤكد أن البحث المستمر مطلوب لضمان انتقال آمن إلى عصر التجربة، يجب أن ندرك أيضًا أنه قد يوفر فوائد مهمة للسلامة.

أولاً، الوكيل التجريبي يكون واعيًا للبيئة التي يتواجد فيها، ويمكن لسلوكه أن يتكيف مع تغيرات تلك البيئة مع مرور الوقت. أي نظام مبرمج مسبقًا، بما في ذلك نظام ذكاء اصطناعي ثابت، قد يكون غير مدرك لسياق بيئته، وقد يصبح غير ملائم للعالم المتغير الذي يتم نشره فيه. على سبيل المثال، قد يتعطل جزء مهم من الأجهزة، أو تسبب جائحة في تغير اجتماعي سريع، أو يؤدي اكتشاف علمي جديد إلى سلسلة من التطورات التكنولوجية السريعة. بالمقابل، يمكن للوكيل التجريبي أن يلاحظ ويتعلم كيفية التعامل مع الأجهزة المعطلة، ويتكيف مع التغيرات الاجتماعية السريعة، أو يستوعب ويطور بناءً على العلوم والتقنيات الجديدة. وربما الأهم من ذلك، أن الوكيل يمكن أن يدرك متى يكون سلوكه سببًا في قلق أو استياء أو ضيق لدى البشر، ويقوم بتعديل سلوكه بشكل تكيفي لتجنب هذه العواقب السلبية.

ثانيًا، يمكن تعديل دالة المكافأة الخاصة بالوكيل نفسها من خلال التجربة، على سبيل المثال باستخدام الأمثلية ذات المستويين التي تم شرحها سابقًا (انظر قسم المكافآت). والأهم من ذلك، أن هذا يعني أن دوال المكافأة غير المتوافقة يمكن تصحيحها تدريجيًا مع مرور الوقت عن طريق التجربة والخطأ. فعلى سبيل المثال، بدلاً من تحسين إشارة معينة بشكل أعمى، مثل تعظيم عدد مشابك الورق [5]، يمكن تعديل دالة المكافأة بناءً على مؤشرات القلق البشري، قبل أن تستهلك صناعة مشابك الورق جميع موارد الأرض. وهذا يشبه الطريقة التي يضع بها البشر أهدافًا لبعضهم البعض، ثم يقومون بتعديل تلك الأهداف إذا لاحظوا استغلال النظام أو إهمال الرفاهية طويلة الأمد أو التسبب في عواقب سلبية غير مرغوبة؛ ومع ذلك، وكما هو الحال في تحديد الأهداف البشرية، لا يوجد ضمان لتحقيق توافق كامل.

وأخيرًا، فإن التقدمات التي تعتمد على التجربة المادية مقيدة بطبيعتها بالوقت اللازم لتنفيذ الأفعال في العالم الحقيقي وملاحظة نتائجها. فعلى سبيل المثال، تطوير دواء جديد، حتى مع التصميم المدعوم بالذكاء الاصطناعي، لا يزال يتطلب تجارب واقعية لا يمكن إنجازها بين عشية وضحاها. وقد يشكل هذا عامل كبح طبيعي على سرعة تحسين الذكاء الاصطناعي الذاتي المحتمل.

الخاتمة

يمثل عصر التجربة لحظة حاسمة في تطور الذكاء الاصطناعي. بالاستناد إلى الأسس القوية التي نمتلكها اليوم، ومع تجاوز حدود البيانات المستمدة من البشر، ستتعلم الوكلاء بشكل متزايد من تفاعلاتهم المباشرة مع العالم. سيتفاعل الوكلاء بشكل مستقل مع البيئات من خلال ملاحظات وأفعال غنية، وسيستمرون في التكيف على مدار تجارب طويلة تمتد مدى الحياة. ستكون أهدافهم قابلة للتوجيه نحو أي تركيبة من الإشارات المتمركزة في الواقع. علاوة على ذلك، سيستخدم الوكلاء قدرات تفكير قوية غير بشرية، ويضعون خططًا تستند إلى نتائج أفعالهم وتأثيرها على بيئتهم. في النهاية، ستتفوق بيانات التجربة على حجم وجودة البيانات التي يولدها البشر.
هذا التحول في النموذج، مصحوبًا بتطورات خوارزمية في التعلم المعزز، سيفتح آفاقًا جديدة في العديد من المجالات، مقدماً قدرات تتجاوز ما يمتلكه أي إنسان.

الشكر والتقدير
يرغب المؤلفون في تقديم الشكر للتعليقات والنقاشات المفيدة التي قدمها كل من توماس ديغريس، روهين شاه، توم شاول، وهادو فان هاسيلت.

المصدر: The Era of Experience Paper