Technologische Neuigkeiten, Bewertungen und Tipps!

Forscher erwarten von Neurowissenschaftlern, dass sie die Verzerrung von Datensätzen überwinden

Hinweis: Der folgende Artikel hilft Ihnen dabei: Forscher erwarten von Neurowissenschaftlern, dass sie die Verzerrung von Datensätzen überwinden

Ein Forscherteam am MIT, der Harvard University und Fujitsu, Ltd. suchte nach Möglichkeiten, wie ein maschinelles Lernmodell die Verzerrung von Datensätzen überwinden kann. Sie stützten sich auf einen neurowissenschaftlichen Ansatz, um zu untersuchen, wie sich Trainingsdaten darauf auswirken, ob ein künstliches neuronales Netzwerk lernen kann, Objekte zu erkennen, die es noch nie gesehen hat.

Die Forschung wurde veröffentlicht in Naturmaschinenintelligenz.

Vielfalt in Trainingsdaten

Die Ergebnisse der Studie zeigten, dass die Vielfalt der Trainingsdaten Einfluss darauf hat, ob ein neuronales Netzwerk in der Lage ist, Verzerrungen zu überwinden. Datenvielfalt kann sich jedoch auch negativ auf die Leistung des Netzwerks auswirken. Die Forscher zeigten auch, dass die Art und Weise, wie ein neuronales Netzwerk trainiert wird, auch Einfluss darauf haben kann, ob es einen voreingenommenen Datensatz überwinden kann.

Xavier Boix ist wissenschaftlicher Mitarbeiter am Department of Brain and Cognitive Sciences (BCS) und am Center for Brains, Minds, and Machines (CBMM). Er ist außerdem leitender Autor des Artikels.

„Ein neuronales Netzwerk kann die Verzerrung von Datensätzen überwinden, was ermutigend ist. Aber die wichtigste Erkenntnis hier ist, dass wir die Datenvielfalt berücksichtigen müssen. Wir müssen aufhören zu denken, dass man schon etwas erreichen kann, wenn man nur Unmengen an Rohdaten sammelt. Wir müssen zunächst sehr vorsichtig sein, wie wir Datensätze entwerfen“, sagt Boix.

Das Team nutzte die Ideen eines Neurowissenschaftlers, um den neuen Ansatz zu entwickeln. Laut Boix ist es üblich, in Experimenten kontrollierte Datensätze zu verwenden, daher erstellte das Team Datensätze, die Bilder verschiedener Objekte in verschiedenen Posen enthielten. Anschließend kontrollierten sie die Kombinationen, sodass einige Datensätze vielfältiger waren als andere. Ein Datensatz mit mehr Bildern, die Objekte aus nur einem Blickwinkel zeigen, ist weniger vielfältig, während ein Datensatz mit mehr Bildern, die Objekte aus mehreren Blickwinkeln zeigen, vielfältiger ist.

Die Forscher nahmen diese Datensätze und trainierten damit ein neuronales Netzwerk für die Bildklassifizierung. Anschließend untersuchten sie, wie gut es war, Objekte aus Blickwinkeln zu identifizieren, die das Netzwerk während des Trainings nicht sah.

Sie fanden heraus, dass die vielfältigeren Datensätze es dem Netzwerk ermöglichen, neue Bilder oder Standpunkte besser zu verallgemeinern, und dies ist entscheidend für die Überwindung von Vorurteilen.

„Aber es ist nicht so, dass mehr Datenvielfalt immer besser ist; hier herrscht Spannung. Wenn das neuronale Netzwerk besser darin wird, neue Dinge zu erkennen, die es noch nicht gesehen hat, wird es für es schwieriger, Dinge zu erkennen, die es bereits gesehen hat“, sagt Boix.

Methoden zum Training neuronaler Netze

Das Team stellte außerdem fest, dass ein Modell, das für jede Aufgabe separat trainiert wurde, Verzerrungen besser überwinden kann als ein Modell, das für beide Aufgaben zusammen trainiert wurde.

„Die Ergebnisse waren wirklich beeindruckend. Als wir dieses Experiment zum ersten Mal durchführten, dachten wir tatsächlich, es sei ein Fehler. Es dauerte mehrere Wochen, bis uns klar wurde, dass es sich um ein echtes Ergebnis handelte, weil es so unerwartet war“, fährt Boix fort.

Eine eingehendere Analyse ergab, dass die Neuronenspezialisierung an diesem Prozess beteiligt ist. Wenn das neuronale Netzwerk darauf trainiert wird, Objekte in Bildern zu erkennen, entstehen zwei Arten von Neuronen. Ein Neuron ist auf die Erkennung der Objektkategorie spezialisiert, während das andere auf die Erkennung des Standpunkts spezialisiert ist.

Die spezialisierten Neuronen treten stärker hervor, wenn das Netzwerk darauf trainiert wird, Aufgaben separat auszuführen. Wenn ein Netzwerk jedoch darauf trainiert wird, beide Aufgaben gleichzeitig zu erledigen, werden einige Neuronen verdünnt. Das bedeutet, dass sie sich nicht auf eine Aufgabe spezialisieren und eher verwirrt werden.

„Aber die nächste Frage ist nun: Wie sind diese Neuronen dorthin gelangt? Sie trainieren das neuronale Netzwerk und sie entstehen aus dem Lernprozess. Niemand hat dem Netzwerk gesagt, dass es diese Art von Neuronen in seine Architektur integrieren soll. Das ist das Faszinierende“, sagt Boix.

Dieser Frage werden die Forscher in ihrer künftigen Arbeit nachgehen und den neuen Ansatz auch auf komplexere Aufgaben anwenden.