Недавно је Гоогле АИ покренуо изазов за податке назван ЦАТС4МЛ (Цровдсоурцинг Адверсе Тест Сетс фор Мацхине Леарнинг). Овај изазов побољшава евалуационе скупове података за машинско учење подстицањем претраживања постојећих мерила МЛ.
ЦАТС4МЛ изазов података тражи од изазивача да користе различите методе како би пронашли примере непознатих непознаница у моделима МЛ. Дакле, када ова технологија стекне више искуства, Гоогле-ова технологија препознавања објеката ће радити боље.
У задацима препознавања објеката, ЦАТС4МЛ ће оспорити способност машинског учења. Тест сет има много примера које је тешко решити алгоритмима. Главна сврха ЦАТС4МЛ је да програмерима да скуп података како би испитали слабости алгоритма.
Многи скупови података за процену имају ставке које је лако проценити, али им недостаје природна двосмисленост стварног контекста. Оцењивање МЛ модела без примера из стварног света је тешко тестирати перформансе машинског учења. А ово узрокује да МЛ модели развијају „слабе тачке“.
Гоогле АИ ЦАТС4МЛ Дата Цхалленге на ХЦОМП 2020 показује потешкоће у идентификовању слабости МЛ модела. Главни циљ овог изазова је да се постави лествица у скуповима за процену МЛ-а како би се уочили нови примери података и о овом машинском учењу је поуздано. Исходи ових изазова помоћи ће у идентификовању и избегавању будућих грешака.
Слаба места су примери које модел тешко може правилно проценити. То се догађа зато што скуп података не укључује класе примера.
Истраживачи настављају да проучавају „Познате непознанице“ у домену активног учења. Заједница је пронашла решење за добијање нове етикете од људи на случајним примерима. На пример, ако модел није сигуран да ли је тема фотографије мачка или не, особа је упућена да је верификује. А ако је модел сигуран у вези са фотографијом, онда се та особа не пита.
Примери из стварног света могу дати боље резултате неуспесима модела у перформансама. Стога изазов података ЦАТС4МЛ покушава да прикупи неманипулиране узорке које људи могу прочитати, али модели праве грешке.
Изазов података ЦАТС4МЛ отворен је до 30. априла 2021. за истраживаче и програмере широм света. Учесници се могу пријавити на Изазовна веб локација, преузмите циљане слике и скуп података и доставите слике.