![Як встановити заголовки ядра в Ubuntu та Debian](/f/98c66a80c56aae382e31a23b1ba817c5.png?width=100&height=100)
Нещодавно Google AI розпочав випробування даних під назвою CATS4ML (Crowdsourcing Adverse Test Sets for Machine Learning). Цей виклик покращує набори даних для оцінки машинного навчання, заохочуючи пошук існуючих тестів ML.
Виклик даних CATS4ML просить претендентів використовувати різні методи для пошуку прикладів Невідомих Невідомих у моделях ML. Отже, коли ця технологія отримає більше досвіду, технологія розпізнавання об’єктів Google буде працювати ефективніше.
У завданнях розпізнавання об’єктів CATS4ML буде кидати виклик можливості машинного навчання. Тестовий набір має безліч прикладів, які важко вирішити за допомогою алгоритмів. Основною метою CATS4ML є надання набору даних розробникам для вивчення слабких сторін алгоритму.
У багатьох наборах даних для оцінки є елементи, які легко оцінити, але їм не вистачає природної двозначності реального контексту. Оцінюючи моделі ML без реальних прикладів, важко перевірити ефективність машинного навчання. І це змушує моделі ML розвивати “слабкі місця”.
Виклик даних CATS4ML Google AI на HCOMP 2020 демонструє труднощі у виявленні слабких сторін моделі ML. Основна мета цього завдання - поставити планку в наборах оцінки ML, щоб знайти нові приклади даних, і про це машинне навчання впевнено. Результати цих викликів допоможуть виявити та уникнути майбутніх помилок.
Слабкі місця - це приклади, які моделі важко оцінити правильно. Це трапляється, оскільки набір даних не включає класи прикладів.
Дослідники продовжують вивчати "Відомі невідомі" в області активного навчання. Спільнота знайшла рішення отримати новий ярлик від людей на випадкових прикладах. Мовляв, якщо модель не впевнена, що об’єктом фотографії є кіт чи ні, людині пропонується перевірити це фото. І якщо модель впевнена у фотографії, то людину не запитують.
Реальні приклади можуть дати кращі результати в разі невдач моделі в її роботі. Отже, виклик даних CATS4ML намагається зібрати неманіпульовані зразки, які люди можуть прочитати, але моделі роблять помилки.
Виклик даних CATS4ML відкритий до 30 квітня 2021 року для дослідників та розробників у всьому світі. Учасники можуть зареєструватися на Веб-сайт із викликами, завантажте цільові зображення та набір даних та надайте зображення.