Hinweis: Der folgende Artikel hilft Ihnen dabei: Von Verwirrungsmatrix zu keiner Verwirrungsmatrix in nur 5 Minuten – Auf dem Weg zur KI
Ursprünglich veröffentlicht auf Towards AI, dem weltweit führenden Nachrichten- und Medienunternehmen für KI und Technologie. Wenn Sie ein KI-bezogenes Produkt oder eine KI-bezogene Dienstleistung entwickeln, laden wir Sie ein, darüber nachzudenken, KI-Sponsor zu werden. Bei Towards AI helfen wir bei der Skalierung von KI- und Technologie-Startups. Wir helfen Ihnen dabei, Ihre Technologie der breiten Masse zugänglich zu machen.
Von der Verwirrungsmatrix zur No-Confusion-Matrix in nur 5 Minuten
Was ist Verwirrungsmatrix-Präzision, Rückruf, Genauigkeit, F1-Score, FPR, FNR, TPR, TNR?
Zu Beginn Ihrer Karriere als Datenwissenschaftler wird die Verwirrungsmatrix sehr verwirrend sein, wir werden viele Fragen haben, wie zum Beispiel: Wann sollte man Präzision verwenden? Wann sollte Recall verwendet werden? In welchen Fällen kann Genauigkeit verwendet werden? Deshalb werde ich versuchen, diese Fragen in diesem Blog zu beantworten.
Was ist eine Verwirrungsmatrix?
Eine Verwirrungsmatrix ist eine Methode zum Zusammenfassen der vorhergesagten Ergebnisse und tatsächlichen Werte in Form einer Matrix, um die Leistung eines Klassifizierungsproblems zu messen.
Hier stellen wir Vorhersagen als positiv (P) oder negativ (N) und Wahrheitswerte als wahr (T) oder falsch (F) dar.
Wenn wir die Wahrheit und die vorhergesagten Werte zusammen darstellen, erhalten wir True Positive (TP), True Negative (TN), False Positive (FP) und False Negative (FN).
Was sind also TP, TN, FP und FN? Hier betrachten wir ein Beispiel eines Schwangerschaftstests, bei dem eine tatsächlich schwangere Frau und ein dicker Mann einen Arzt konsultieren. Die Testergebnisse sind im folgenden Bild dargestellt.
TP (True Positive): Die Frau ist schwanger und es wird vorhergesagt, dass sie schwanger ist. Hier steht P für eine positive Vorhersage und T zeigt, dass unsere Vorhersage tatsächlich wahr ist.
FP (Falsch positiv): Einem dicken Mann wird eine Schwangerschaft vorhergesagt, was eigentlich falsch ist. Hier steht P für eine positive Vorhersage und F zeigt, dass unsere Vorhersage tatsächlich falsch ist. Dies wird auch genannt Fehler vom Typ I.
FN (Falsch negativ): Einer Frau, die tatsächlich schwanger ist, wird vorhergesagt, dass sie nicht schwanger ist. Hier stellt N eine negative Vorhersage dar und F zeigt, dass unsere Vorhersage tatsächlich falsch ist. Dies wird auch genannt Fehler vom Typ II.
TN (echt negativ): Einem dicken Mann wird vorhergesagt, dass er nicht schwanger ist. Hier steht N für eine negative Vorhersage und T zeigt, dass unsere Vorhersage tatsächlich wahr ist.
In der Verwirrungsmatrix stellen die diagonalen Elemente (TP und TN) immer die richtigen Klassifizierungen dar, und die anderen Elemente als die Diagonale stellen falsche Klassifizierungen dar.
Genauigkeit:
Genauigkeit = (TP+TN)/(TP+FP+FN+TN) Die Genauigkeit gibt den Prozentsatz korrekter Klassifizierungen an. Wenn wir 100 Beobachtungen haben und unser Modell 80 Beobachtungen korrekt klassifiziert, beträgt die Genauigkeit 80 %. Anhand der Genauigkeit allein lässt sich nicht entscheiden, ob unser Modell gut oder schlecht ist. Da unsere Daten 900 positive und 100 negative Klassen haben und unser Modell alle Beobachtungen als positiv vorhersagt, wird das Modell als zu 90 % genau angesehen, was keine gute Sache ist. Daher verwenden wir auch die folgenden Metriken.
Präzision:
Präzision = TP/(TP+FP) Wie viele von allen positiven Vorhersagen waren tatsächlich positiv? Precision konzentriert sich immer auf positive Vorhersagen. Präzision wird auch als a bezeichnet positiv vorhergesagter Wert. Wir verwenden Präzision, wenn das falsch positive Ergebnis wichtig ist.
Beispiel: E-Mail-Spam-Erkennung. Hier tritt ein falsch positives Ergebnis auf, wenn die E-Mail, die kein Spam ist, als Spam vorhergesagt wird und der Benutzer wichtige Informationen verliert.
Abrufen:
Rückruf = TP/(TP+FN) Wie viele von allen tatsächlichen wahren Werten wurden korrekt als positiv vorhergesagt? Der Rückruf wird auch genannt Empfindlichkeit oder Echt-Positiv-Rate (TPR). Recall konzentriert sich immer auf die tatsächlich positiven Aspekte. Wir verwenden den Rückruf immer dann, wenn das falsch negative Ergebnis wichtig ist.
Beispiel 1: Wenn in einem COVID-Test eine Person mit COVID als negativ vorhergesagt wird, dann ist der Fehler falsch negativ. Die Person erhält also keine Behandlung mit COVID und es besteht auch die Möglichkeit, dass sie die Krankheit verbreitet.
Beispiel 2: In Brandmeldeanlagen können wir den Rückruf nutzen, da ein falsch-negativer Alarm gefährlicher ist als ein falsch-positiver Alarm.
F1-Ergebnis:
F1-Score = 2 * Präzision * Rückruf/(Präzision + Rückruf). Dies ist ein harmonisches Mittel zwischen Präzision und Erinnerung, und wir können den f1-Score verwenden, wenn wir nicht wirklich wissen, ob FP oder FN für unser Problem wichtig ist.
Andere Kennzahlen:
True Negative Rate (TNR) = TN/(TN+FP)
Falsch-Positiv-Rate (FPR) = FP/(FP+TN)
Falsch-Negativ-Rate (FNR) = FN (FN + TP)
Hundeklassifizierungsmodell:
Schauen wir uns nun ein Beispiel an und verstehen, wie die oben genannten Metriken in der Praxis angewendet werden können. Nehmen wir an, wir erstellen ein Modell, um die Bilder in eine von zwei Klassen zu klassifizieren: Hund oder Kein Hund.
Die obigen Bilder sind die Eingabe für unser Modell. Ziel ist die Klassifizierung in Hunde oder Nicht-Hunde.
Schauen wir uns nun die Vorhersagen unseres Modells an.
Unser Modellergebnis ist Hundevorhersage: 6 Und Keine Hundevorhersage: 4, Wir müssen die Vorhersagen bewerten.
Von 6 Vorhersagen von Hunden sind 5 tatsächlich richtig und von 4 Vorhersagen, die keine Hunde sind, sind 2 tatsächlich richtig.
Schauen wir uns nun an, wie die obigen Ergebnisse in einer Verwirrungsmatrix dargestellt werden können, und berechnen wir Genauigkeit, Präzision, Rückruf und F1-Score.
Genauigkeit = (TP+TN)/(TP+TN+FP+FN) = (5+2)/(5+2+1+2)=0,7
Präzision = TP/(TP+FP) = 5/(5+1) = 0,83
Abrufen = TP/(TP+FN) = 5/(5+2) = 0,71
F1-Ergebnis = 2*Präzision*Rückruf/(Präzision + Rückruf) =2*0,83*0,71/(0,83+0,71) = 0,77
Note dass wir die Präzision, den Rückruf und den f1-Score auch für die Not Dog-Klasse berechnen können. Schauen wir uns nun an, wie wir die oben genannten Metriken mit sklearn in Python für dasselbe Beispiel berechnen können.
Jetzt sollten Sie keine Verwirrung mehr über die Verwirrungsmatrix haben. Wenn Sie die oben genannten Konzepte gut verstanden haben, kommentieren Sie außerdem einige weitere Beispiele, bei denen Präzision Vorrang vor Rückruf hat und umgekehrt.
Alles, was schief gehen kann, wird schief gehen.
Möchten Sie mehr über Regressionsmetriken erfahren? Unten ist der Blog
Regressionsmetriken
Wenn Sie wissen möchten, was Feature-Skalierung ist? Wann sollte Standardisierung eingesetzt werden? Wann sollte die Normalisierung verwendet werden? Bitte lesen Sie den folgenden Blog.
Welche Feature-Skalierungstechnik verwendet werden soll – Standardisierung vs. Normalisierung?
Wenn Sie wissen möchten, wie Sie die IPL-Daten analysieren, lesen Sie bitte den folgenden Blog.
Virat Kohli gegen KL Rahul
Sie können sich auf LinkedIn mit mir verbinden
Von Confusion Matrix zu No Confusion Matrix in nur 5 Minuten wurde ursprünglich in Towards AI auf Medium veröffentlicht, wo die Leute die Konversation fortsetzen, indem sie diese Geschichte hervorheben und darauf reagieren.
Veröffentlicht über Towards AI
