أداة جديدة للمساعدة فى اختيار الطريقة الصحيحة لتقييم نماذج الذكاء الاصطناعى

أنشأ باحثون من معهد ماساتشوستس للتكنولوجيا (MIT) و IBM Research أداة لمساعدة المستخدمين على اختيار أفضل طريقة للتسويق لمهمتهم الخاصة، لقد طوروا بطاقات التميز، والتي توفر توثيقًا موحدًا لكيفية عمل الطريقة، بما في ذلك نقاط القوة والضعف والتفسيرات لمساعدة المستخدمين على تفسيرها بشكل صحيح.

إنهم يأملون، أن يتمكن المستخدمون عن عمد من تحديد طريقة بروز مناسبة لكل من نوع نموذج التعلم الآلي الذي يستخدمونه والمهمة التي يؤديها هذا النموذج ، كما تشرح المؤلفة الرئيسية المشاركة أنجي بوجوست، طالبة دراسات عليا في مجال الكهرباء، الهندسة وعلوم الكمبيوتر في معهد ماساتشوستس للتكنولوجيا وعضو مجموعة التصور في مختبر علوم الكمبيوتر والذكاء الاصطناعي (CSAIL) في معهد ماساتشوستس للتكنولوجيا.

كشفت المقابلات مع باحثين وخبراء في مجال الذكاء الاصطناعي من مجالات أخرى أن البطاقات تساعد الأشخاص على إجراء مقارنة جنبًا إلى جنب بسرعة بين الأساليب المختلفة واختيار تقنية مناسبة للمهمة، حيث يمنح اختيار الطريقة الصحيحة للمستخدمين صورة أكثر دقة لكيفية عمل نموذجهم، لذا فهم مجهزون بشكل أفضل لتفسير تنبؤاته بشكل صحيح، وفقاً لموقع  scitechdaily.

"تم تصميم بطاقات Saliency لتقديم ملخص سريع وملمح لطريقة البروز وأيضًا تقسيمها إلى السمات الأكثر أهمية والتي تتمحور حول الإنسان، ولقد تم تصميمها للجميع، بدءًا من باحثي التعلم الآلي وحتى المستخدمين العاديين الذين يحاولون فهم الطريقة التي يجب استخدامها واختيار واحدة لأول مرة ".

توضح بوغست أن الطريقة ليست أبيض وأسود، قد تؤدي الطريقة بشكل جيد في ظل اختبار واحد للأمانة، لكنها تفشل في اختبار آخر، مع وجود العديد من طرق البروز، والعديد من التقييمات الممكنة، غالبًا ما يستقر المستخدمون على طريقة ما لأنها شائعة أو استخدمها أحد الزملاء.

ومع ذلك، فإن اختيار الطريقة "الخاطئة" يمكن أن يكون له عواقب وخيمة، على سبيل المثال، تقارن إحدى طرق البروز، والمعروفة باسم التدرجات المتكاملة، أهمية الميزات في صورة ما بخط أساس لا معنى له، والميزات ذات الأهمية الأكبر على خط الأساس هي الأكثر دلالة لتنبؤ النموذج، وتستخدم هذه الطريقة عادةً كل الأصفار كخط أساسي، ولكن إذا تم تطبيقها على الصور، فإن كل الأصفار تساوي اللون الأسود.

"سيخبرك أن أي بكسلات سوداء في صورتك ليست مهمة، حتى لو كانت كذلك، لأنها متطابقة مع خط الأساس الذي لا معنى له، وقد يكون هذا أمرًا مهمًا إذا كنت تنظر إلى الأشعة السينية لأن اللون الأسود قد يكون مفيدًا للأطباء "، كما تقول بوجوست.

يمكن أن تساعد بطاقات الملاءمة المستخدمين على تجنب هذه الأنواع من المشاكل من خلال تلخيص كيفية عمل طريقة البروز من حيث 10 سمات تركز على المستخدم، حيث تلتقط السمات طريقة حساب البروز، والعلاقة بين طريقة البروز والنموذج، وكيف يدرك المستخدم مخرجاته.

يمكن أن تكون البطاقات مفيدة أيضًا للعلماء من خلال كشف الثغرات في مساحة البحث، على سبيل المثال، لم يتمكن باحثو معهد ماساتشوستس للتكنولوجيا من تحديد طريقة الملوحة التي كانت فعالة من الناحية الحسابية، ولكن يمكن أيضًا تطبيقها على أي نموذج للتعلم الآلي.