أطلقت Google AI مؤخرًا تحديًا للبيانات يسمى CATS4ML (مجموعات اختبار الخصومة الجماعية للتعلم الآلي). يعمل هذا التحدي على تحسين مجموعات بيانات تقييم التعلم الآلي من خلال تشجيع استخلاص معايير تعلم الآلة الحالية.
سيتم تمديد تحدي بيانات CATS4ML حتى 30 أبريل 2021
يطلب تحدي بيانات CATS4ML من المنافسين استخدام طرق مختلفة للعثور على أمثلة للمجهول غير المعروف في نماذج تعلم الآلة. لذا، مع اكتساب هذه التقنية المزيد من الخبرة، ستعمل تقنية اكتشاف الكائنات من Google بشكل أفضل.
في مهام الكشف عن الكائنات، سيختبر CATS4ML قدرات التعلم الآلي. تحتوي مجموعة الاختبار على العديد من الأمثلة التي يصعب حلها باستخدام الخوارزميات. الهدف الرئيسي من CATS4ML هو تزويد المطورين بمجموعة بيانات لدراسة نقاط الضعف في الخوارزمية.
تحتوي العديد من مجموعات بيانات التقييم على عناصر يسهل تقييمها، ولكنها تفتقر إلى الغموض الطبيعي لسياق العالم الحقيقي. من الصعب تقييم نماذج تعلم الآلة بدون أمثلة من العالم الحقيقي لاختبار أداء التعلم الآلي. وهذا يؤدي إلى قيام نماذج تعلم الآلة بتطوير “نقاط الضعف”.
يوضح تحدي بيانات CATS4ML من Google AI في HCOMP 2020 مدى صعوبة تحديد نقاط الضعف في نموذج تعلم الآلة. الهدف الرئيسي من هذا التحدي هو وضع المعايير في مجموعات تقييم تعلم الآلة للتعرف على أمثلة البيانات الجديدة والاعتماد على التعلم الآلي. وستساعد نتائج هذه التحديات في تحديد الأخطاء المستقبلية وتجنبها.
نقاط الضعف في نماذج التعلم الآلي
نقاط الضعف هي أمثلة يصعب على النموذج تقييمها بشكل صحيح. وذلك لأن مجموعة البيانات لا تحتوي على فئات العينة.
يواصل الباحثون استكشاف “المجهول المعروف” في مجال التعلم النشط. وجد المجتمع حلاً للحصول على علامة جديدة بين الأشخاص المختارين عشوائيًا. على سبيل المثال، إذا لم يكن النموذج متأكدًا مما إذا كان موضوع الصورة هو قطة أم لا، فسيتم توجيه الشخص لمراجعة تلك الصورة. وإذا كانت العارضة متأكدة من الصورة، فلن يتم سؤال الشخص.
يمكن أن توفر الأمثلة الواقعية نتائج أفضل لأخطاء النموذج في أدائه. لذلك، يحاول تحدي بيانات CATS4ML جمع عينات غير معالجة يمكن للبشر قراءتها، لكن النماذج ترتكب أخطاء.
تحدي بيانات CATS4ML مفتوح للباحثين والمطورين في جميع أنحاء العالم حتى 30 أبريل 2021. يمكن للمشاركين التسجيل في موقع التحديقم بتنزيل الصور المستهدفة ومجموعة البيانات ونشر الصور.