Hinweis: Der folgende Artikel hilft Ihnen dabei: Eine Einführung in Federated Learning – Auf dem Weg zur KI
Ursprünglich veröffentlicht auf Towards AI, dem weltweit führenden Nachrichten- und Medienunternehmen für KI und Technologie. Wenn Sie ein KI-bezogenes Produkt oder eine KI-bezogene Dienstleistung entwickeln, laden wir Sie ein, darüber nachzudenken, KI-Sponsor zu werden. Bei Towards AI helfen wir bei der Skalierung von KI- und Technologie-Startups. Wir helfen Ihnen dabei, Ihre Technologie der breiten Masse zugänglich zu machen.
Datenschutz und Sicherheit mit Federated Learning
Leute im AI-ML-DL-Bereich fragten oft danach Datenschutzbedenken hinsichtlich Daten und Datensicherheit Das ist ziemlich logisch, denn nach dem Training von Modellen anhand einer Vielzahl von Datensätzen stellt sich die Frage, wie die Strategie für den Umgang mit Daten und deren Datenschutz aussehen sollte.
Für die moderne KI gibt es noch zwei erhebliche Hindernisse. Einer davon ist, dass Daten typischerweise als vorliegen isolierte Inseln In verschiedene Unternehmen. Das andere ist die Verbesserung der Datensicherheit und des Datenschutzes. Bei den derzeit am meisten gehypten Lern- und Trainingsmethoden bringen wir unsere Datensätze in ein festes und zentralisiertes Modell, nach dem die Erkenntnisse gewonnen werden. Die Übertragung von Daten von System zu System, von Datenbank zu Datenbank ist eine ziemliche Herausforderung, und es kann zu Datenlecks und Datendiebstahl kommen.
Föderiertes Lernen ist die neue Modelllernmethode, die eine Lösung für alle oben genannten Probleme bietet. Sehen wir uns Federated Learning im Detail an. Eine sehr brutale oder Wörterbuchbedeutung des föderierten Wortes ist „sich unter einer zentralen Regierung oder Organisation zu vereinen und gleichzeitig eine gewisse lokale Kontrolle zu behalten„Wie diese Bedeutung mit tatsächlichem föderiertem Lernen zusammenhängt, werden wir in den nächsten Abschnitten des Blogs sehen.
Was ist, wenn ich meine mitbringen kann? lokales Modell in Richtung Daten und keine Daten zum Modell? Lassen Sie uns dies anhand eines einfachen Beispiels aus dem föderierten Lernblog google.ai verstehen. Jede mobile App, die mit Benutzern interagiert, kann zum Trainieren eines maschinellen Lernmodells verwendet werden, das versucht, aus Benutzerinteraktionen zu lernen. Auf zahlreichen Mobilgeräten wird gleichzeitig ein ML-Modell trainiert. Dieses trainierte Modell stellt Aktualisierungen bereit, die dann an einen zentralen Server oder ein zentrales Modell übertragen werden. Die vom individuellen Modell bereitgestellten Eingaben werden zur Aktualisierung des zentralisierten Modells verwendet. Auch hier wird ein zentral aktualisiertes Modell an Ihre Geräte gesendet.
Unser Gerät lädt das aktuelle Modell herunter, verbessert es, indem es aus den Daten auf Ihrem Telefon lernt und dann fasst die Änderungen zusammen als kleines, fokussiertes Update. Nur diese Aktualisierung des Modells wird mithilfe verschlüsselter Kommunikation an die Cloud gesendet, wo sie sofort mit anderen Benutzeraktualisierungen gemittelt wird, um das gemeinsam genutzte Modell zu verbessern. Alle Trainingsdaten bleiben auf Ihrem Gerätund es werden keine einzelnen Updates in der Cloud gespeichert.
Zur Erklärung: Sie verfügen nicht über zentralisierte Daten. Sie haben Daten, die über verschiedene Standorte und Geräte verteilt sind, und möchten nun ein Modell für maschinelles Lernen trainieren.
Meiner Meinung nach ist die größte Sorge von Datenprivatsphäre Und Datensicherheit wird hier kanalisiert. Die Daten befinden sich am Standort des Benutzers und die aktualisierten Modelle werden an das zentrale System gesendet. Der Vorteil des föderierten Lernens besteht darin, dass Sie keine Daten zum Modell bringen, sondern das Modell zu den Daten. Trainieren Sie einen Algorithmus an verschiedenen lokalen Kanten oder Servern und verwenden Sie ihn als Datenstichprobe aus der Bevölkerung.
Unternehmen können von genauen Modellen für maschinelles Lernen profitieren, typische zentralisierte Systeme für maschinelles Lernen weisen jedoch Einschränkungen auf, wie z nicht kontinuierlich auf Edge-Geräten lernen und einZusammenfassen privater Daten auf zentralen Servern. Föderiertes Lernen hilft, diese Probleme zu entschärfen.
Beim herkömmlichen maschinellen Lernen wird ein zentrales ML-Modell unter Verwendung aller Trainingsdaten erstellt, auf die in einer zentralen Umgebung zugegriffen werden kann. Wenn Vorhersagen von einem zentralen Server bereitgestellt werden können, funktioniert dies problemlos.
Eine angenehme Benutzererfahrung kann durch die Kommunikationsverzögerung zwischen einem Benutzergerät und einem zentralen Server im Mobile Computing beeinträchtigt werden, da Benutzer schnelle Antworten erwarten. Um dieses Problem zu beheben, wird das Modell möglicherweise auf dem Endbenutzergerät installiert. Da Modelle jedoch anhand ganzer Datensätze trainiert werden, wird kontinuierliches Lernen schwierig.
Föderiertes Lernen in der Gesundheitsbranche:
Große, vielfältige und qualitativ hochwertige Datensätze bieten Erfahrung für KI-Algorithmen. Solche Statistiken waren jedoch in der Vergangenheit schwer zu finden, insbesondere in der Gesundheitsindustrie.
Medizinische Organisationen waren gezwungen, sich auf ihre eigenen Datenquellen zu verlassen, die durch Faktoren wie Patientendemografie, verwendete Instrumente oder klinische Fachgebiete verzerrt sein können. Oder sie mussten Daten anderer Institutionen kombinieren, um alle notwendigen Daten zu erhalten.
Laut BrainTorrent: A Peer-to-Peer Environment for Decentralized Federated Learning ist eine häufige Schwierigkeit beim Training tiefer neuronaler Netze für die medizinische Bildgebung der Zugriff auf genügend gekennzeichnete Daten. Da die Annotation von Daten kostspielig und zeitaufwändig ist, ist es für ein einzelnes medizinisches Zentrum schwierig, ausreichende Probenmengen zu erhalten, um eigene maßgeschneiderte Modelle zu erstellen. Um dies zu vermeiden, könnten Daten aus allen Zentren gesammelt und verwendet werden, um ein zentrales Framework zu trainieren, das für jedermann zugänglich ist. Diese Taktik wird jedoch häufig angewendet. Aufgrund des privaten Charakters medizinischer Daten ist dies unpraktisch. Kürzlich wurde Federated Learning (FL) entwickelt, um das kooperative Lernen eines gemeinsamen Vorhersagemodells über alle Zentren hinweg zu ermöglichen ohne dass ein Datenaustausch erforderlich ist. In FL trainieren Benutzer Modelle einige Epochen lang lokal anhand standortspezifischer Datensätze, bevor sie ihre Modellgewichte an einen zentralen Server weitergeben, der den gesamten Trainingsprozess verwaltet. Es ist wichtig, dass die Privatsphäre der Patienten durch die gemeinsame Nutzung von Modellen nicht gefährdet wird.
Föderiertes Lernen im IoT:
Das Internet der Dinge (IoT) entwickelt sich weiter und eröffnet neue Optionen für die Echtzeit-Datenerfassung und den Einsatz von Modellen für maschinelles Lernen. Allerdings verfügt ein einzelnes IoT-Gerät möglicherweise nicht über die Rechenleistung, um ein vollständiges Lernmodell zu entwickeln und umzusetzen. Das Senden kontinuierlicher Echtzeitdaten an einen zentralen Server mit leistungsstarken Rechenfunktionen wirft nicht nur Bedenken hinsichtlich der Datensicherheit und des Datenschutzes auf, sondern verursacht auch hohe Übertragungskosten. Dem Papier zufolge ist Federated Learning, ein verteiltes Framework für maschinelles Lernen, ein vielversprechender Ansatz zum Trainieren von Modellen für maschinelles Lernen auf Edge-Servern und Geräten mit begrenzten Ressourcen.
Allerdings gehen die meisten vorliegenden Studien von einer unpraktisch synchronen Parameteraktualisierungsmethode mit einheitlichen IoT-Knoten aus, die über stabile Kommunikationsverbindungen verbunden sind. In diesem Artikel erstellen wir eine asynchrone föderierte Lernstrategie, um die Trainingseffektivität für verschiedene IoT-Geräte in unterschiedlichen Netzwerken zu erhöhen. Um Lernaufgaben effektiv zu erledigen, bauen wir eine Leichter Knotenauswahlalgorithmus und ein asynchrones föderiertes Lernmodell. Um am globalen Lernaggregat teilzunehmen, wählt der vorgeschlagene Ansatz iterativ heterogene IoT-Knoten aus und berücksichtigt dabei deren lokale Verarbeitungskapazität und Kommunikationsstatus. Dieses Papier kam zu dem Schluss, wie die Datenerfassung und -verarbeitung von IoT-Geräten zu hochmodernen Ergebnissen führt.
Es scheint so Föderiertes Lernen hat viel Potenzial. Es schützt nicht nur sensible Benutzerdaten, sondern aggregiert auch Daten vieler Benutzer, sucht nach gemeinsamen Mustern und stärkt das Modell im Laufe der Zeit. Es entwickelt sich auf der Grundlage von Benutzerdaten, schützt diese und tritt dann wieder als weiseres Individuum hervor, das bereit ist, sich erneut mit seinen eigenen Benutzern auf die Probe zu stellen! Tests und Schulungen sind intelligenter geworden! Federated Learning läutete eine neue Ära sicherer KI ein, sei es beim Training, beim Testen oder beim Datenschutz. Das Design und die Implementierung des föderierten Lernens bereiten immer noch viele Schwierigkeiten, da es sich noch in seiner Anfangsform befindet. Der Entwurf einer Datenpipeline und die Definition des Federated-Learning-Problems sind zwei wirksame Möglichkeiten, dieses Hindernis zu beseitigen.
Open-Source-Software für Federated Learning
· SCHICKSAL
· Substra
· PySyft
PyGrid
· OpenFL
· TensorFlow Federated
· IBM Federated Learning
· NVIDIA Clara
Wirksamkeit des föderierten Lernens
Datensicherheit: Der Trainingssatz bleibt auf den Geräten erhalten Gewährleistung der Datensicherheit und die Notwendigkeit eines Datenpools für das Modell entfällt.
Datenvielfalt: Andere Probleme, wie die Nichtverfügbarkeit des Netzwerks in Edge-Geräten, können Unternehmen daran hindern, Datensätze aus zahlreichen Quellen zusammenzuführen. Föderiertes Lernen erleichtert den Zugriff auf eine Vielzahl von Daten, selbst wenn bestimmte Datenquellen nur gelegentlich kommunizieren können.
Kontinuierliches Lernen in Echtzeit: Modelle sind laufend aktualisiert Nutzung von Kundendaten, ohne dass Daten aggregiert werden müssen.
Hardware-Effektivität: Diese Strategie verwendet weniger anspruchsvolle Hardware da föderierte Lernmodelle keinen einzigen komplexen zentralen Server zur Datenanalyse benötigen.
Verweise :
- Stefano Savazzi, Monica Nicoli und Vittorio Rampa, Föderiertes Lernen mit kooperierenden Geräten: Ein Konsensansatz für massive IoT-Netzwerke(2019),arXiv:1912.13163v1 [eess.SP] 27. Dezember 2019
- ViraajiMothukuriaReza,M.PariziaSeyedamin, Pouriyehb, Yan Huanga, AliDehghantanhac, Gautam Srivastava, Eine Umfrage zu Sicherheit und Datenschutz beim föderierten Lernen(2021)Future Generation Computer Systems, Band 115
- Rithesh Sreenivasan, Was ist Federated Learning? (Youtube-Video)
- IstvánHegedűs, Gábor Danner und Márk Jelasity, Dezentrales Lernen funktioniert: Ein empirischer Vergleich von Gossip Learning und föderiertem Lernen(2021)Journal of Parallel and Distributed Computing (Band 148)
- Wenqi Li, Fausto Milletar, Daguang Xu, Nicola Rieke, Jonny Hancox, Wentao Zhu, Maximilian Baust, Yan Cheng, S´ebastien Ourselin, M. Jorge Cardoso und Andrew Feng, Privatsphäre-wahrende föderierte Hirntumor-Segmentierung(Okt. 2019),Biomedizinische Technik und Bildgebungswissenschaften, King’s College London, Großbritannien
- Brendan McMahan und Daniel Ramage, Forschungswissenschaftler, Federated Learning: Kollaboratives maschinelles Lernen ohne zentralisierte Trainingsdaten(2017)Google AI-Blog
- NICOLA RIEKE, Was ist föderiertes Lernen?(2019)Nvidia-Blog
- Alpharis(2022),Apheris föderiertes Lernen
Wenn Sie das aufschlussreich finden
Wenn Sie diesen Artikel aufschlussreich fanden, folgen Sie mir weiter Linkedin Und Mittel. du kannst auch abonnieren um benachrichtigt zu werden, wenn ich Artikel veröffentliche. Danke für deine Unterstützung!
Eine Einführung in Federated Learning wurde ursprünglich in Towards AI auf Medium veröffentlicht, wo die Leute das Gespräch fortsetzen, indem sie diese Geschichte hervorheben und darauf antworten.
Veröffentlicht über Towards AI
