8 عوامل رئيسية يجب مراعاتها عند اختبار دقة روبوتات الدردشة المدعمة بالذكاء الاصطناعي

لقد قطع الذكاء الاصطناعي شوطا طويلا من خلال توليد مخرجات غير ذات صلة وغير متماسكة. تستخدم روبوتات الدردشة الحديثة نماذج لغوية متقدمة للإجابة على أسئلة المعرفة العامة، وتأليف مقالات طويلة، وكتابة التعليمات البرمجية، من بين العديد من المهام المعقدة الأخرى.

على الرغم من التقدم، يجب أن تدرك أنه حتى الأنظمة الأكثر تطورًا لها حدود. لا يزال بإمكان الذكاء الاصطناعي ارتكاب الأخطاء. لتحديد روبوتات الدردشة الأقل عرضة لأوهام الذكاء الاصطناعي، اختبر دقتها بناءً على هذه العوامل.

1. القدرة على حل المسائل الحسابية

قم بتشغيل المعادلات الرياضية من خلال برنامج الدردشة الآلي. وسيختبرون قدرة المنصة على تحليل المشكلات وترجمة المفاهيم الرياضية وتطبيق الصيغ بدقة. تُظهر نماذج قليلة فقط قدرات حوسبة موثوقة. في الواقع، إحدى أسوأ مشاكل ChatGPT في أيامها الأولى كانت حساباتها الرهيبة.

توضح الصورة أدناه فشل ChatGPT في تحقيق الإحصائيات الأساسية.

أجاب ChatGPT على سؤال الاحتمال بشكل غير صحيح

أظهر ChatGPT تحسنًا بعد أن طرحت OpenAI التحديثات في مايو 2023. ولكن بالنظر إلى مجموعات البيانات المحدودة، ستظل تواجه مشكلات متوسطة إلى متقدمة.

ChatGPT يجيب بشكل صحيح على الأسئلة الاحتمالية

وفي الوقت نفسه، تتمتع Bing Chat وGoogle Bard بقدرات حوسبة أفضل. ويقومون بتشغيل الاستعلامات من خلال محركات البحث الخاصة بهم، مما يسمح لهم باسترداد الصيغ وتقديم الإجابات.

يجيب Bing Chat بشكل صحيح على الأسئلة الاحتمالية

حاول إعادة صياغة استفساراتك. تجنب الجمل الطويلة واستبدال الأفعال الضعيفة. وإلا فقد يسيء برنامج الدردشة الآلية فهم سؤالك.

2. القدرة على فهم الاستفسارات المعقدة

يمكن لأنظمة الذكاء الاصطناعي الحديثة أن تتولى العديد من المهام. تسمح لهم شهادات LLM المتقدمة بالاحتفاظ بالتعليمات السابقة والإجابة على الاستفسارات بشكل مجزأ، بينما تتعامل الأنظمة القديمة مع الأوامر الفردية. على سبيل المثال، يجيب Siri على سؤال واحد في كل مرة.

قم بإعطاء روبوتات الدردشة من 3 إلى 5 مهام متزامنة لاختبار مدى جودة تحليل المطالبات المعقدة. لا تستطيع النماذج الأقل تعقيدًا التعامل مع قدر كبير من المعلومات. تُظهر الصورة أدناه أن HuggingChat تواجه مشكلة في المطالبة المكونة من 3 خطوات - فهي تتوقف عند الخطوة الأولى وتخرج عن الموضوع.

يحاول HuggingChat الإجابة على الاستفسارات متعددة الخطوات

كانت سطور HuggingChat الأخيرة غير متماسكة.

HuggingChat مرتبك بعد الإجابة على استعلام متعدد الخطوات

يقوم ChatGPT بإكمال نفس المطالبة بسرعة، مما يؤدي إلى إنشاء استجابات ذكية وخالية من الأخطاء في كل خطوة.

يجيب ChatGPT على السؤال الأول في استعلام متعدد الخطوات

توفر Bing Chat إجابات موجزة في 3 خطوات. تحظر قيودها الصارمة المخرجات الطويلة غير الضرورية التي تهدر طاقة المعالجة.

يوفر Bing Chat إجابات موجزة للمشاريع متعددة الخطوات

3. الحد من مجموعة بيانات التدريب

نظرًا لأن تدريب الذكاء الاصطناعي يستهلك الكثير من الموارد، فإن معظم المطورين يقصرون مجموعات البيانات على فترات زمنية محددة. خذ ChatGPT على سبيل المثال. لديها معرفة محدودة في سبتمبر 2021 - لا يمكنك طلب تحديثات الطقس أو التقارير الإخبارية أو التطورات الأخيرة. ليس لدى ChatGPT إمكانية الوصول إلى المعلومات في الوقت الفعلي.

لا يمكن لـ ChatGPT مشاركة الأحداث البارزة لأن معرفتها محدودة

بارد لديه حق الوصول إلى الإنترنت. فهو يسحب البيانات من Google SERPs، حتى تتمكن من طرح المزيد من أنواع الأسئلة، على سبيل المثال، حول الأحداث الأخيرة والأخبار والتنبؤات.

يشارك Bard الأحداث البارزة عن طريق تشغيل استعلامات Google

وبالمثل، يقوم Bing Chat بسحب المعلومات في الوقت الفعلي من محرك البحث الخاص به.

يشارك Bing الأحداث البارزة عن طريق تشغيل استعلامات البحث على Bing

يوفر Bing Chat وBard معلومات محدثة وفي الوقت المناسب، لكن Bing Chat يوفر تعليقات أكثر تفصيلاً. يقدم Bing البيانات كما هي فقط. ستلاحظ أن مخرجاته غالبًا ما تتطابق مع صياغة ونبرة المصادر المرتبطة.

4. الصلة بالجواب

يجب أن توفر Chatbots المخرجات ذات الصلة. يجب عليهم أن يأخذوا في الاعتبار المعنى الحرفي وسياق المطالبة عند الرد. خذ هذه المحادثة على سبيل المثال. تحتاج الشخصية إلى هاتف جديد ولكن لديها 1000 دولار فقط - ChatGPT لا يتجاوز الميزانية.

توصي ChatGPT بالهواتف الذكية التي يقل سعرها عن 1000 دولار

عند اختبار مدى الملاءمة، حاول إنشاء تعليمات طويلة. تميل روبوتات الدردشة الأقل تطورًا إلى الانحراف عندما تعطى تعليمات مربكة. على سبيل المثال، يمكن لـ HuggingChat تأليف قصص خيالية. ولكن يمكن أن ينحرف عن الموضوع الرئيسي إذا قمت بتعيين الكثير من القواعد والإرشادات.

يتم الخلط بين HuggingChat بسبب المطالبات متعددة الخطوات

5. الذاكرة السياقية

تساعد الذاكرة السياقية الذكاء الاصطناعي على إنتاج مخرجات دقيقة وموثوقة. بدلًا من النظر خارج نطاق الأسئلة، يقومون بربط التفاصيل التي ذكرتها معًا. خذ هذه المحادثة على سبيل المثال. يقوم Bing Chat بربط رسالتين منفصلتين لتكوين استجابة واحدة مختصرة ومفيدة.

يوفر Bing Chat للكتاب كتبًا لتحسين مهاراتهم

وبالمثل، تسمح الذاكرة السياقية لروبوتات الدردشة بتذكر التعليمات. تُظهر هذه الصورة ChatGPT وهو يقلد الطريقة التي تتحدث بها الشخصية الخيالية في عدة محادثات.

يجيب ChatGPT على أسئلة مثل Ash from Pokemon

اختبر هذه الوظيفة بنفسك من خلال الرجوع بشكل متكرر إلى العبارات السابقة. قم بتغذية روبوتات الدردشة بمجموعة متنوعة من المعلومات، ثم أجبرهم على تذكر هذه المعلومات في الردود اللاحقة.

ملاحظة : الذاكرة السياقية محدودة. يبدأ Bing Chat محادثة جديدة كل 20 جولة، بينما لا يستطيع ChatGPT التعامل مع المطالبات التي تزيد عن 3000 رمز مميز.

6. القيود الأمنية

لا يعمل الذكاء الاصطناعي دائمًا على النحو المنشود. يمكن أن يؤدي التدريب غير الصحيح إلى ارتكاب تقنيات التعلم الآلي لمجموعة متنوعة من الأخطاء، بدءًا من الأخطاء الرياضية الصغيرة وحتى التعليقات المشكوك فيها. خذ مايكروسوفت تاي على سبيل المثال. استغل مستخدمو تويتر نموذج التعلم غير الخاضع للرقابة وحولوه إلى افتراءات عنصرية.

ولحسن الحظ، تعلم قادة التكنولوجيا العالمية من أخطاء مايكروسوفت. على الرغم من أنه فعال من حيث التكلفة ومريح، إلا أن التعلم غير الخاضع للرقابة يجعل أنظمة الذكاء الاصطناعي سهلة الخداع. لذلك، يعتمد المطورون بشكل أساسي على التعلم الخاضع للإشراف اليوم. لا تزال روبوتات الدردشة مثل ChatGPT تتعلم من المحادثات، لكن مدربيها يقومون بتصفية المعلومات أولاً.

يمكن أن تغطي قيود ChatGPT الأقل صرامة نطاقًا أوسع من المهام ولكنها ضعيفة في مواجهة عمليات الاستغلال. وفي الوقت نفسه، يتبع Bing Chat حدودًا أكثر صرامة. وفي حين أنها تساعد في الدفاع ضد محاولات الاستغلال، إلا أنها تعيق الوظائف أيضًا. يقوم Bing تلقائيًا بكتم صوت المحادثات التي قد تكون ضارة.

7. تحيز الذكاء الاصطناعي

الذكاء الاصطناعي محايد بطبيعته. إن افتقار الذكاء الاصطناعي إلى الاهتمامات والعواطف يجعله غير قادر على تكوين الآراء، فهو يقدم فقط المعلومات التي يعرفها. هذه هي الطريقة التي يستجيب بها ChatGPT للموضوعات الشخصية.

ChatGPT يقارن بين Iron Man وCaptain America

وعلى الرغم من هذا الحياد، لا تزال هناك تحيزات في الذكاء الاصطناعي. إنها تنشأ من الأنماط ومجموعات البيانات والخوارزميات والنماذج التي يستخدمها المطورون. يمكن أن يكون الذكاء الاصطناعي محايدًا، لكن البشر ليسوا كذلك.

على سبيل المثال، يدعي معهد بروكينجز أن ChatGPT يُظهر تحيزًا سياسيًا يساريًا. وبطبيعة الحال، تنفي OpenAI هذه الاتهامات. ولكن لتجنب مشاكل مماثلة مع النماذج الأحدث، يتجنب ChatGPT تمامًا المخرجات المتحيزة.

لا يستطيع ChatGPT مناقشة الدين

وبالمثل، يتجنب Bing Chat أيضًا المشكلات الحساسة والذاتية.

لا يمكن لـ Bing Chat مناقشة الدين

قم بالتقييم الذاتي لتحيزات الذكاء الاصطناعي من خلال طرح أسئلة مفتوحة قائمة على الرأي. ناقش المواضيع التي لا تحتوي على إجابات صحيحة أو خاطئة - قد تُظهر برامج الدردشة الآلية الأقل تطورًا تفضيلات لا أساس لها من الصحة لمجموعات معينة.

8. المراجع

نادراً ما يقوم الذكاء الاصطناعي بالتحقق من الحقائق. إنه يأخذ فقط المعلومات من مجموعة البيانات ويعيد كتابتها من خلال نماذج اللغة. ولسوء الحظ، فإن التدريب المحدود يسبب هلاوس الذكاء الاصطناعي. لا يزال بإمكانك استخدام أدوات الذكاء الاصطناعي التوليدي للبحث، ولكن تأكد من التحقق من الحقائق بنفسك.

يعمل Bing Chat على تبسيط عملية التحقق من صحة المعلومات من خلال سرد مراجعها بعد كل مخرجات.

يجيب Bing Chat على الأسئلة المتعلقة بتاريخ إطلاق ChatGPT

لا يقوم Bard AI بإدراج مصادره ولكنه يقوم بإنشاء تفسيرات متعمقة وحديثة من خلال تشغيل استعلامات بحث Google. سوف تحصل على النقاط الرئيسية من SERPs.

يشرح Bard بيانات وتحديثات إطلاق ChatGPT الأخيرة

ChatGPT عرضة لعدم الدقة. تمنع قيود المعرفة لعام 2021 من الإجابة على الأسئلة المتعلقة بالأحداث والحوادث الأخيرة.

لا يستطيع ChatGPT الإجابة على أسئلة المعرفة العامة حول الأحداث الأخيرة