Google hat Crowdsourcing Adverse Test Sets for Machine Learning (CATS4ML) Challenge gestartet



Kürzlich hat Google AI eine Datenherausforderung namens CATS4ML (Crowdsourcing Adverse Test Sets for Machine Learning) gestartet. Diese Herausforderung verbessert die Bewertungsdatensätze für maschinelles Lernen, indem sie das Durchsuchen der vorhandenen ML-Benchmarks fördert.

Die CATS4ML Data Challenge läuft bis zum 30. April 2021

Google hat die CATS4ML-Datenherausforderung gestartet

Die CATS4ML-Datenherausforderung fordert die Herausforderer auf, verschiedene Methoden anzuwenden, um Beispiele für unbekannte Unbekannte in ML-Modellen zu finden. Wenn diese Technologie also mehr Erfahrung bekommt, wird die Objekterkennungstechnologie von Google besser abschneiden.

Bei den Objekterkennungsaufgaben wird CATS4ML die Fähigkeit des maschinellen Lernens herausfordern. Das Test-Set hat viele Beispiele, die mit Algorithmen schwer zu lösen sind. Der Hauptzweck von CATS4ML besteht darin, den Entwicklern einen Datensatz zur Verfügung zu stellen, um die Schwächen des Algorithmus zu untersuchen.

Viele Bewertungsdatensätze enthalten leicht zu bewertende Elemente, aber ihnen fehlt die natürliche Mehrdeutigkeit des realen Kontexts. Die Bewertung von ML-Modellen ohne reale Beispiele ist schwierig, um die Leistung des maschinellen Lernens zu testen. Und das führt dazu, dass ML-Modelle „Schwachstellen“ entwickeln.



Die CATS4ML Data Challenge von Google AI auf der HCOMP 2020 zeigt, wie schwierig es ist, die Schwächen des ML-Modells zu identifizieren. Das Hauptziel dieser Herausforderung ist es, die Messlatte in ML-Evaluierungssets zu legen, um neue Datenbeispiele zu erkennen und auf dieses maschinelle Lernen zu vertrauen. Die Ergebnisse dieser Herausforderungen werden dazu beitragen, zukünftige Fehler zu erkennen und zu vermeiden.

Schwachstellen in Modellen für maschinelles Lernen

Schwachstellen sind Beispiele, die für ein Modell nur schwer richtig zu bewerten sind. Dies liegt daran, dass das Dataset die Beispielklassen nicht enthält.

Die Forscher untersuchen weiterhin die „bekannten Unbekannten“ in einem Bereich des aktiven Lernens. Die Community hat eine Lösung gefunden, um ein neues Label von zufällig ausgewählten Personen zu erhalten. Wenn ein Model beispielsweise nicht sicher ist, ob das Motiv eines Fotos eine Katze ist oder nicht, wird eine Person angewiesen, dieses Foto zu überprüfen. Und wenn sich das Model bei dem Foto sicher ist, dann wird die Person nicht gefragt.

Die Beispiele aus der realen Welt können bessere Ergebnisse für die Fehler eines Modells in seiner Leistung liefern. Daher versucht die CATS4ML-Datenherausforderung, nicht manipulierte Proben zu sammeln, die Menschen lesen können, aber die Modelle machen Fehler.



Die CATS4ML-Datenherausforderung ist bis zum 30. April 2021 für Forscher und Entwickler weltweit geöffnet. Die Teilnehmer können sich auf der anmelden Challenge-Websiteladen Sie die Zielbilder und den Datensatz herunter und stellen Sie die Bilder bereit.



Back to top button