عندما تصبح بوكيمون معيارًا: جدلية شفافية تقييم نماذج الذكاء الاصطناعى

في مفارقة لافتة، لم تسلم حتى لعبة بوكيمون الشهيرة من الجدل الدائر حول معايير تقييم نماذج الذكاء الاصطناعي، فقد انتشر الأسبوع الماضي منشور على منصة X بشكل واسع، زاعمًا أن نموذج Gemini من تطوير جوجل تفوق على نموذج Claude من شركة Anthropic في التقدم داخل ثلاثية ألعاب بوكيمون الأصلية.

ووفقًا للمنشور، تمكن Gemini من الوصول إلى مدينة “Lavender Town”، بينما ظل Claude عالقًا في “Mount Moon” منذ أواخر فبراير.

لكن، ما لم يُذكر في المنشور هو أن Gemini كان يملك أفضلية تقنية. فقد أشار عدد من مستخدمي Reddit إلى أن المطور المسؤول عن بث Gemini على منصة Twitch قام بتطوير خريطة مصغّرة مخصصة تساعد النموذج في التعرف على العناصر داخل اللعبة، مثل الأشجار القابلة للقطع. هذه الأداة تقلل من الحاجة لتحليل الصور قبل اتخاذ القرارات، مما يمنح Gemini تفوقًا واضحًا.

ورغم أن استخدام لعبة بوكيمون كمعيار أداء للذكاء الاصطناعي يُعد أمرًا شبه هزلي، إلا أنه يسلط الضوء على نقطة جوهرية: كيفية تنفيذ التقييم يمكن أن تؤثر بشكل كبير على النتائج النهائية.

فعلى سبيل المثال، أعلنت شركة Anthropic عن نتيجتين مختلفتين لنموذج Claude 3.7 Sonnet في اختبار SWE-bench Verified، المصمم لتقييم قدرات النماذج على البرمجة. سجل النموذج دقة بلغت 62.3%، بينما ارتفعت إلى 70.3% عند استخدام هيكل مخصص طورته الشركة.

وفي خطوة مشابهة، قامت شركة Meta مؤخرًا بتعديل نسخة من نموذجها Llama 4 Maverick خصيصًا لتحسين أدائه في معيار LM Arena. واللافت أن النسخة العادية من النموذج سجلت أداءً أقل بكثير في نفس التقييم.

هذه الحالات تكشف عن مشكلة أعمق: معايير التقييم ليست مثالية أصلًا، واستخدام أدوات مخصصة أو غير قياسية قد يزيد من تعقيد المقارنات بين النماذج الجديدة، مما يجعل عملية تقييم الذكاء الاصطناعي أقل شفافية وأكثر جدلية بمرور الوقت.