Hinweis: Der folgende Artikel hilft Ihnen dabei: Interview: Die Datenwissenschaft hinter der neuen Sentiment-Analyse von Brandwatch
Diesen Monat hat Brandwatch ein völlig neues Stimmungsmodell für die mehr als 100 Millionen Online-Quellen eingeführt, die wir in Brandwatch Consumer Research abdecken, sowie für die von Brandwatch unterstützten Apps wie Cision Social Listening und Falcon Listen.
Es handelt sich um eine große Verbesserung der bestehenden erstklassigen Sentiment-Analyse von Brandwatch, die im Durchschnitt rund 18 % bessere Genauigkeit in allen zuvor unterstützten Sprachen bietet.
Dieses neue Modell ist auch mehrsprachig, das heißt:
- Offizielle Unterstützung wurde für 16 neu bewertete Sprachen hinzugefügt, weitere werden folgen (wodurch sich die aktuelle Gesamtzahl der offiziell unterstützten Sprachen auf 44 erhöht). Das Modell wird auch versuchen, Posts in einer anderen Sprache (und Posts ohne identifizierte Sprache, z. B.) eine Stimmung zuzuordnen Nur Emoji-Beiträge), wenn es sicher genug ist
Die Stimmung ist eine der wichtigsten Kennzahlen, auf die sich Brandwatch-Kunden bei einer Reihe wichtiger Aufgaben verlassen, wie zum Beispiel:
- Beurteilung der Markengesundheit, Identifizierung von Befürwortern oder Kritikern, Erkennung aufkommender Krisen, Verständnis positiver und negativer Themen im Zusammenhang mit Marken- oder Themengesprächen
Ich habe mich mit Colin Sullivan, einem der Datenwissenschaftler, der das Team leitet, das unser neues Sentiment-Modell entwickelt hat, zusammengesetzt und ihn gefragt, wie es funktioniert und welche Vorteile es Brandwatch-Kunden bringen wird.
Hallo Colin! Wir freuen uns sehr, die Früchte Ihrer Arbeit jetzt in der Sentiment-Analyse von Brandwatch sehen zu können. Bevor wir über dieses neue Stimmungsmodell sprechen, erzählen Sie uns etwas über sich und Ihren Hintergrund.
Danke Nick, wir sind auch gespannt! Ich bin Data Science Manager und leite hier bei Brandwatch verschiedene Projekte. Mein Hintergrund liegt in der Linguistik und Computerlinguistik.
Linguistik ist im Wesentlichen eine Sozialwissenschaft, die sich mit der Erforschung der Muster und Regeln beschäftigt, die die Funktionsweise von Sprache bestimmen, indem sie den theoretischen Hintergrund, die Syntax und die Semantik der Sprache untersucht.
Unter Computerlinguistik versteht man die Untersuchung, wie Computer dieselben Strukturen modellieren und diese Modelle auf Dinge wie die Verarbeitung natürlicher Sprache, die Sprachidentifizierung und die Art und Weise anwenden können, wie Dinge indiziert werden. Und es wird auch verwendet, um Dinge wie Stimmung und Themen in großen Textdatenmengen zu analysieren.
Dieses Sentiment-Update verwendet ein völlig neues Modell. Warum eine neue Methode zur Stimmungsanalyse entwickeln?
Zwei Hauptgründe.
1. Wir wollten einen Sprung zu einigen der modernsten Methoden machen, die in der Forschungswelt auftauchen. In den letzten Jahren gab es einige wirklich spannende Neuentwicklungen, die uns helfen können, noch bessere Ergebnisse zu erzielen.
2. Wir sahen auch eine Möglichkeit, die Art und Weise, wie wir bei Brandwatch Stimmung machen, zu vereinfachen. Früher haben wir für jede von uns unterstützte Sprache das gleiche Verfahren durchgeführt. Dazu gehörten das Sammeln einer ganzen Reihe von Trainingsdaten für jede Sprache, die Kennzeichnung dieser Sprachen, das Kennenlernen ihrer sprachlichen Muster und die anschließende Erstellung eines überwachten Lernmodells für jede Sprache. Mit diesem neuen Setup verfügen wir über eine einzige Methode, die für viele Sprachen gleichzeitig funktioniert.
Dieses neue Modell nutzt „Transferlernen“. Was ist das genau?
In den letzten Jahren hat der Bereich der KI aufregende Fortschritte beim Transferlernen gemacht, bei dem es im Wesentlichen darum geht, zunächst ein Modell zu trainieren, um ein allgemeineres Verständnis zu erlangen, und dieses Gelernte dann zu übertragen und es aufzufordern, es auf eine andere Aufgabe anzuwenden. Das unterscheidet sich stark vom Training eines Modells nur zur Lösung eines einzelnen, spezifischen Problems, wie wir es früher bei der Stimmungsanalyse getan haben.
Daher wurde unser neues Modell zunächst darauf trainiert, ein allgemeines Gespür dafür zu entwickeln, wie Sprache verwendet wird. Anschließend unternehmen wir einen zweiten Schritt, um dieses Modell auf eine Aufgabe wie die Stimmungsanalyse auszurichten.
Der erste Schritt ähnelt stark der Funktionsweise des automatischen Vorschlags für das nächste Wort. Ein Modell mit ausreichender Erfahrung im Umgang mit Sprache durch Menschen kann beginnen, vorherzusagen, wie die nächsten Wörter wahrscheinlich lauten, wenn man ihm Text gibt. Als Nächstes bitten wir ihn, ein Thema vorherzusagen, das die Bedeutung eines ganzen Satzes oder Social-Media-Beitrags zusammenfasst. In diesem Fall sind die Themen „positiv“, „negativ“ oder „neutral“ – es werden dieselben Informationen wiederverwendet ab Schritt eins.
Genauso funktioniert Ihr Gehirn, wenn Sie jemandem beim Reden zuhören. Unterbewusst versuchen Sie ständig vorherzusagen, was Ihr Gesprächspartner als nächstes sagen wird, um ihn besser hören und verstehen zu können.
Wie trägt dies dazu bei, dass Brandwatch die Stimmung besser als zuvor definiert?
Einer der Hauptvorteile dieses neuen Ansatzes besteht darin, dass er robuster im Umgang mit komplexerer oder differenzierterer Sprache ist. Das neue Modell kann frühere Dinge wie Rechtschreibfehler oder Slang erkennen.
Bisher waren überwachte Lernmodelle während des Trainings auf einen festen Satz bekannter Muster beschränkt, was nicht annähernd alle sprachlich plausiblen Ausdrucksmöglichkeiten eines Konzepts erschöpfend erfasste. Neue, hochmoderne Modelle sind besser in der Lage, bereits vorhandenes Wissen wiederzuverwenden, wenn sie mit neuen oder seltenen Mustern konfrontiert werden.
Der Transfer-Learning-Ansatz bedeutet, dass das Modell sein Wissen nutzt, um Lücken zu schließen. Es kann beispielsweise Wörter, die es nicht kennt, in Teile zerlegen, die ihm Hinweise geben könnten (genau wie Sie es tun würden!).
Und es funktioniert in fast jeder Sprache, da wir nicht jedes Mal eine neue Sprache trainieren. Das bedeutet auch, dass es eine größere Bandbreite an regionalen Dialekten und Beiträgen verarbeiten kann, bei denen jemand zwischen den Sprachen wechselt.
Welche Faktoren führen dazu, dass ein Beitrag als positiv oder negativ gekennzeichnet wird? Sucht das Modell nach „guten“ oder „schlechten“ Wörtern oder Phrasen?
Das Modell berücksichtigt den vollständigen Kontext des Dokuments. Entscheidend wird die Wortreihenfolge sein – nicht nur positive oder negative Wörter. Wenn beispielsweise etwas „nicht gut“ ist, ist die Verneinung leicht zu verstehen. Es versteht auch Dinge wie Emojis, Syntax und Groß-/Kleinschreibung.
Wenn man sich die Ergebnisse ansieht, scheint es sich um reales Wissen zu handeln. Es kann dazu kommen, dass Namen dieser Begriffe ignoriert werden, die ansonsten im typischen Sprachgebrauch eine Stimmung ausdrücken würden (z. B. Art Bars). Wenn es genügend Beispiele dafür gesehen hat, dass Sprache auf eine bestimmte Art und Weise verwendet wird, wird es sogar in der Lage sein, frühere doppelte Verneinungen oder gelegentlich Sarkasmus zu erkennen, obwohl dies schwieriger ist, da es nicht immer über das zusätzliche Wissen aus der realen Welt verfügt, das erforderlich ist.
Das heißt, wenn Sie längere Zeit damit verbringen Twitter Sie könnten zu dem Schluss kommen, dass Menschen selbst nicht ganz in der Lage sind, Sarkasmus zu erkennen!
Dieses neue Modell ist mehrsprachig. Wie soll das gehen?
Das Vortraining wurde mit einer riesigen Datenmenge in 104 Sprachen durchgeführt. Unser erster Schritt bestand darin, das vorab trainierte Modell mit vielen weiteren Textbeispielen aus sozialen Medien zu füttern. Dieser Schritt ist erforderlich, um die Fähigkeit zu verbessern, die Arten von Sprachmustern zu modellieren, die in sozialen Netzwerken im Vergleich zu Standardnachrichten oder formellen Kontexten auftreten.
Dann führten wir den überwachten Schritt durch, bei dem wir ihm Stimmungsdaten gaben und ihn auf das Problem der Erkennung positiver oder negativer Beiträge hinwiesen. Wir verwendeten nur 12 Sprachen auf einmal, werteten aber die Ergebnisse für 44 Sprachen aus und stellten fest, dass das Modell gelernt hatte, mit diesen Sprachen mit einem wirklich guten Maß an Genauigkeit umzugehen. Da das Modell über Stimmungsbeispiele in genügend Sprachen verfügte, konnte es sich auf das konzentrieren, was in anderen von ihm verlangt wurde, indem es bereits vorhandenes Wissen nutzte.
Wir können jetzt offiziell 44 Sprachen unterstützen, aber das Modell klassifiziert die Stimmung in jeder Sprache, wenn es sicher genug ist. In Zukunft werden wir die offizielle Unterstützung für mehr Sprachen viel schneller als bisher hinzufügen können.
Wie genau ist dieses neue Modell? Und wie misst man die Genauigkeit?
Gefühle sind von Natur aus eine subjektive Aufgabe und Menschen interpretieren die Definition dieser Aufgabe zunächst einmal unterschiedlich. Es hat sich beispielsweise gezeigt, dass sich zwei Menschen nur in rund 80 % der Fälle über die Stimmung einer Sache einig sind – und das bei Tweets, die relativ einfach einzuschätzen sind.
Brandwatch-Kunden können in der Regel mit einer durchschnittlichen Genauigkeit von etwa 60–75 % rechnen, diese variiert jedoch immer je nach Art der betrachteten Daten. Wir könnten eine viel höhere Genauigkeit feststellen, wenn wir die Bewertung beispielsweise nur anhand einer Reihe von IMDB-Filmkritiken vornehmen würden. Mein Team hat die Aufgabe, die Stimmung für Beiträge aus über 100 Millionen Datenquellen zu berechnen, daher versuchen wir, eine Auswertung mit einer Vielzahl von Datensätzen durchzuführen. (Mit anderen Worten: Wir versuchen, es uns selbst schwer zu machen!).
Wie Sie bewerten, wird einen großen Einfluss auf die Ergebnisse haben. Wir konnten unsere Modelle anhand mehrerer öffentlicher Datensätze vergleichen, für die einige der größten Namen in den Bereichen KI und NLP ebenfalls Vorhersagen bereitgestellt haben. In diesem direkten Vergleich der Gesamtleistung liegt Brandwatch Consumer Research durchweg an der Spitze dieser hoch angesehenen Data-Science-Unternehmen.
Welche Tipps würden Sie als Datenwissenschaftler Menschen geben, die bei ihrer Arbeit Sentimentanalysen einsetzen?
Zunächst würde ich sagen: Stellen Sie sicher, dass Sie klar definieren, was Sie tun möchten. Was Menschen als positiv oder negativ empfinden, entsteht oft durch die Linse dessen, worüber sie Erkenntnisse gewinnen wollen.
Die Stimmungsanalyse ist eher ein Werkzeug als eine einzelne unbestreitbare „Wahrheit“. Wenn Sie die Markengesundheit bewerten, sollten Sie Ihre Daten in Kategorien, Zielgruppen und Themen aufschlüsseln, um anhand der Stimmung herauszufinden, was genau die öffentliche Meinung antreibt und wie Sie sie verbessern können. Wenn Sie potenzielle Krisen vorhersagen möchten, müssen Sie sich stärker auf sich ändernde Trends oder Spitzen in Ihren Daten konzentrieren, damit Sie schneller reagieren können.
Die Stimmung ist insgesamt am nützlichsten – also wie sich die Verteilung im Laufe der Zeit ändert. Wenn es Gipfel und Täler gibt, sind diese von Bedeutung. Es ist immer wichtig, Benchmarks festzulegen und dann genauer zu untersuchen, wenn die Daten von der Norm abweichen.
Colin, vielen Dank, dass Sie sich die Zeit für das Gespräch genommen haben und für die harte Arbeit Ihres Teams, Brandwatch-Kunden diese aufregende Neuentwicklung auf die Plattform zu bringen!
Wenn Sie die Sentiment-Analyse von Brandwatch in Aktion sehen möchten, klicken Sie hier, um ein Treffen zu buchen. Als bestehender Brandwatch-Kunde profitieren Sie bereits heute in Ihren Projekten vom neuen Sentiment-Modell.
