![Google Pixel 4 „Sargo” apare pe Geekbench cu Android 10.0](/f/960f09bb886df23178b81441666c2942.png?width=100&height=100)
Recent, Google AI a lansat o provocare de date numită CATS4ML (Crowdsourcing Adverse Test Sets for Machine Learning). Această provocare îmbunătățește seturile de date de evaluare pentru învățarea automată prin încurajarea căutării în reperele ML existente.
Provocarea datelor CATS4ML le cere provocatorilor să folosească diferite metode pentru a găsi exemplele de necunoscute necunoscute în modelele ML. Deci, atunci când această tehnologie va avea mai multă experiență, tehnologia de recunoaștere a obiectelor de la Google va funcționa mai bine.
În sarcinile de recunoaștere a obiectelor, CATS4ML va contesta capacitatea de învățare automată. Setul de testare are multe exemple greu de rezolvat cu algoritmi. Scopul principal al CATS4ML este de a oferi un set de date pentru ca dezvoltatorii să examineze punctele slabe ale algoritmului.
Multe seturi de date de evaluare au elemente ușor de evaluat, dar le lipsește ambiguitatea naturală a contextului real. Evaluarea modelelor ML fără exemple din lumea reală este dificil de testat performanța învățării automate. Și acest lucru face ca modelele ML să dezvolte „puncte slabe”.
Provocarea datelor CATS4ML Google AI la HCOMP 2020 arată dificultatea identificării punctelor slabe ale modelului ML. Scopul principal al acestei provocări este de a pune bara în seturile de evaluare ML pentru a găsi noi exemple de date și despre această învățare automată este încrezător. Rezultatele acestor provocări vor ajuta la identificarea și evitarea erorilor viitoare.
Punctele slabe sunt exemple dificil de evaluat corect pentru un model. Acest lucru se întâmplă deoarece setul de date nu include clasele de exemple.
Cercetătorii continuă să studieze „necunoscutele cunoscute” într-un domeniu de învățare activă. Comunitatea a găsit o soluție pentru a obține o nouă etichetă de la oameni pe exemple aleatorii. De exemplu, dacă un model nu este sigur că subiectul unei fotografii este sau nu pisică, o persoană este îndreptată să verifice acea fotografie. Și dacă modelul este sigur cu privire la fotografie, atunci persoana nu este întrebat.
Exemplele din lumea reală pot da rezultate mai bune eșecurilor unui model în performanța sa. Prin urmare, provocarea de date CATS4ML încearcă să colecteze mostre nemanipulate pe care oamenii le pot citi, dar modelele fac greșeli.
Provocarea datelor CATS4ML este deschisă până la 30 aprilie 2021 pentru cercetători și dezvoltatori la nivel global. Participanții se pot înregistra pe Site-ul provocării, descărcați imaginile și setul de date vizate și furnizați imaginile.