دراسة: ChatGPT يفشل في حل مشكلات البرمجة الحديثة ولا يمكنه استبدال البشر

منذ أن تم الكشف عن ChatGPT في عام 2022، كان هناك الكثير من الحديث حول كيف يمكن لروبوت الدردشة المدعم بالذكاء الاصطناعي أن يحل محل البشر في بعض الوظائف، وفي حين يعتقد بعض خبراء التكنولوجيا أن روبوت الدردشة المدعم بالذكاء الاصطناعي سيتولى بعض الوظائف البشرية مثل البرمجة، يرى آخرون أن التكنولوجيا لا يمكن أن تكون أبدًا ذكية مثل البشر وستساعدهم فقط على أن يكونوا أفضل في عملهم.

كما قال بعض كبار الشخصيات في مجال التكنولوجيا في الماضي إنه بعد سنوات من الآن، لن تكون هناك حاجة للمبرمجين البشريين على الإطلاق لأن الذكاء الاصطناعي سيهتم بالبرمجة، ولكن هل هذا هو الحال فعلا؟ دراسة حديثة تقول ليس بالضرورة.

حيث أن البحث، الذي نشر في عدد يونيو من IEEE Transactions on Software Engineering، قارن التعليمات البرمجية التي أنتجها ChatGPT مع تلك المكتوبة من قبل المبرمجين البشريين، مع التركيز على الوظائف والتعقيد والأمان.

وقد وجدت الدراسة أن معدل نجاح ChatGPT في إنتاج التعليمات البرمجية الوظيفية يتباين بشكل كبير. اعتمادًا على صعوبة المهمة، ولغة البرمجة المستخدمة، وعوامل أخرى، تراوح نجاح الذكاء الاصطناعي من 0.66% إلى 89%.

ويشير هذا النطاق الواسع إلى أنه على الرغم من أن ChatGPT يمكنه أحيانًا مجاراة المبرمجين البشريين أو حتى تجاوزهم، إلا أنه يحتوي أيضًا على قيود كبيرة.

وأشار يوتيان تانغ، المحاضر في جامعة جلاسكو المشارك في الدراسة، إلى أن توليد الأكواد المستندة إلى الذكاء الاصطناعي يمكن أن يعزز الإنتاجية ويؤدي إلى أتمتة بعض مهام تطوير البرمجيات. ومع ذلك، من المهم فهم نقاط القوة والضعف في نماذج الذكاء الاصطناعي هذه، وأكد تانغ على الحاجة إلى تحليل شامل لتحديد المشكلات المحتملة وتحسين تقنيات التعليمات البرمجية المولدة بواسطة الذكاء الاصطناعي.

وللتعمق أكثر في هذه القيود، اختبر فريق البحث قدرة GPT-3.5 على حل 728 مشكلة ترميز من منصة LeetCode عبر خمس لغات برمجة: C، وC++، وJava، وJavaScript، وPython، وكشفت الدراسة أن ChatGPT كان بارعًا إلى حد ما في حل مشكلات الترميز قبل عام 2021 على LeetCode، حيث حقق معدلات نجاح تبلغ حوالي 89 بالمائة للمسائل السهلة، و71 بالمائة للمسائل المتوسطة، و40 بالمائة للمسائل الصعبة.

ومع ذلك، انخفض أداء الذكاء الاصطناعي بشكل ملحوظ عند التعامل مع مشكلات الترميز التي تم طرحها بعد عام 2021، على سبيل المثال، انخفض معدل نجاح ChatGPT للمسائل السهلة من 89 بالمائة إلى 52 بالمائة. بالنسبة للمسائل الصعبة، انخفض معدل النجاح من 40% إلى 0.66% فقط. يشير هذا إلى أن ChatGPT يعاني من مشاكل برمجية أحدث، ربما بسبب عدم تضمين بيانات التدريب الخاصة به هذه التحديات الأحدث.

اقترح تانغ فرضية معقولة للأداء المتغير لـ ChatGPT، واقترح أن يعمل الذكاء الاصطناعي بشكل أفضل مع مشاكل الخوارزمية قبل عام 2021 لأنه من المرجح أن يتم تضمين هذه المشكلات في مجموعة بيانات التدريب الخاصة به، ومع تطور البرمجة، لم يتعرض ChatGPT لمشاكل وحلول جديدة، حيث يفتقر إلى مهارات التفكير النقدي التي يتمتع بها المبرمج البشري.
ويعني هذا القيد أنه على الرغم من قدرة ChatGPT على معالجة المشكلات التي واجهتها سابقًا بشكل فعال، إلا أنه يواجه مشكلات أحدث وغير مألوفة.

تشير نتائج الدراسة إلى أنه على الرغم من أن نماذج الذكاء الاصطناعي مثل ChatGPT تحمل وعدًا بتعزيز الإنتاجية وأتمتة بعض مهام البرمجة، إلا أنها ليست بديلاً للمبرمجين البشريين بعد. إن عدم قدرة الذكاء الاصطناعي على حل مشكلات البرمجة الأحدث يسلط الضوء على الحاجة إلى التطوير والتدريب المستمر لمواكبة مجال هندسة البرمجيات المتطور باستمرار.