Wie jeder, der jemals in einer Beziehung war, Ihnen sagen wird, sind menschliche Emotionen ein kompliziertes Konzept. Dies gilt insbesondere für Vermarkter, die versuchen, die qualitativen Vorteile - den Wert, der über die Grundfunktionalität hinausgeht - ihres Produkts oder ihrer Dienstleistung zu verstehen. Es ist nicht schwer zu verstehen, was Ihr Produkt tut, aber wissen Sie, wie sich Ihre Verbraucher dabei fühlen?



234 Bedeutung der Engelszahl

Sie würden es tun, wenn Sie die Analyse des Social Listening Sentiment verwenden würden, um die ungefilterten Social Media-Überlegungen Ihrer Zielgruppe in umsetzbare strategische Erkenntnisse umzuwandeln. Nehmen Sie alle soziale Daten über Twitter verfügbar und es nach positivem, negativem oder neutralem Gefühl zu kategorisieren, ist ein großes Unterfangen, und es werden keine zwei Methoden gleich geschaffen. Aus diesem Grund hat HASHTAGS ein hybrides Stimmungsanalysesystem entwickelt, das die beiden Hauptansätze Regellisten und Maschinelles Lernen kombiniert.



Regellisten

Eine der einfachsten Möglichkeiten, die Stimmungsanalyse in Angriff zu nehmen, ist die Verwendung von vom Menschen erstellten Regeln oder Wörterbüchern. Bei diesem Ansatz stützt sich das System auf eine Liste von Wörtern oder Phrasen, die direkt einem bestimmten Gefühl zugeordnet sind. Zum Beispiel könnte jeder Tweet, der das Wort 'High Five' enthält, als positiv gekennzeichnet werden, während ein Tweet, der 'schrecklich' enthält, negativ wäre. Systeme wie dieses sind hochgradig anpassbar und können um Tausende von Wort- und Phrasenregeln erweitert werden.

Auf der anderen Seite haben Regelsysteme Probleme mit Tweets, die widersprüchlichen Regeln entsprechen, wie 'Der Film war nicht so schrecklich, wie ich erwartet hatte.' Hier könnte 'schrecklich' als negativ bezeichnet werden, während 'erwartet' positiv wäre. Die widersprüchlichen Regeln bezeichnen den Tweet als neutral, während einige menschliche Leser ihn als leicht positiv und andere als leicht negativ interpretieren würden.

Eine zusätzliche Einschränkung regelbasierter Systeme ist die Abhängigkeit von menschlicher Anstrengung und menschlichem Verständnis. Die Sprache entwickelt sich schnell (insbesondere auf Twitter), und ein regelbasiertes System erfordert, dass jemand einen stetigen Strom neuer Begriffe und Phrasen bereitstellt. Die Aktualisierung eines Stimmungssystems hat nicht immer höchste Priorität, und ein System kann schnell veraltet sein. Selbst bei wachsamer Überwachung kann es schwierig sein, sich ändernde Sprachtrends zu erkennen und festzustellen, wann neue Regeln hinzugefügt werden müssen.

Maschinelles Lernen

Weiterentwickelte Stimmungsanalysesysteme verwenden Maschinelles Lernen (ML) Techniken (manchmal auch künstliche Intelligenz genannt oder Verarbeitung natürlicher Sprache ). Maschinelles Lernen ist eine Familie von Techniken, die Statistiken und Wahrscheinlichkeiten verwenden, um komplexe Muster zu identifizieren, die zum Beschriften von Elementen verwendet werden können.

Im Gegensatz zu regelbasierten Systemen sind ML-Systeme flexibel genug, um Ähnlichkeiten zu erkennen, die für einen Menschen nicht sofort erkennbar sind. Anhand vieler, vieler Beispiele lernt das System Muster, die typischerweise mit positiven, negativen oder neutralen Gefühlen verbunden sind.



Beispielsweise könnte ein ML-Stimmungsanalysesystem feststellen, dass Tweets, die das Wort „Regen“ enthalten und mit einem Ausrufezeichen enden, negativ sind, während Tweets mit „Regen“ und zwei Ausrufezeichen positiv sind. Ein Mensch kann dieses Muster möglicherweise nicht bemerken oder verstehen, warum es auftritt, aber ein ML-System kann es verwenden, um sehr genaue Vorhersagen zu treffen.

Maschinelle Lernsysteme können zwar großartige Ergebnisse erzielen, weisen jedoch einige Mängel auf. Wenn die Sprache sehr abwechslungsreich ist, kann es für ein ML-System schwierig sein, das Rauschen zu sichten, um Muster zu erkennen. Wenn starke Muster existieren, können sie weniger verbreitete Muster überschatten und dazu führen, dass das ML-System subtile Hinweise ignoriert.

Sprout's Ansatz

Um unser Stimmungsanalysesystem aufzubauen, haben wir ein Hybridsystem entwickelt, das das Beste aus regelbasierten und maschinellen Lernansätzen kombiniert. Wir haben Zehntausende von Tweets analysiert, um Orte zu identifizieren, an denen ML-Modelle Probleme haben, und regelbasierte Strategien eingeführt, um diese Mängel zu beheben.



Durch die Ergänzung statistischer Modelle durch menschliches Verständnis haben wir ein robustes System aufgebaut, das in einer Vielzahl von Umgebungen eine gute Leistung erbringt.

Sprossenstimmungsanalyse

Alles über Genauigkeit

Oberflächlich betrachtet scheint die Stimmungsanalyse ziemlich einfach zu sein - entscheiden Sie einfach, ob ein Tweet positiv, negativ oder neutral ist. Die menschliche Sprache und Emotionen sind jedoch kompliziert, und das Erkennen von Gefühlen in einem Tweet spiegelt diese Komplexität wider.

Betrachten Sie diese Tweets. Sind sie positiv, negativ oder neutral?

https://twitter.com/alex/status/917406154321420289

Sie mögen sich in Ihren Antworten sicher fühlen, aber die Chancen stehen gut, dass nicht jeder Ihnen zustimmt. Untersuchungen haben gezeigt, dass sich die Menschen nur über die Stimmung von Tweets einig sind 60-80% der ganzen Zeit.

Sie könnten skeptisch sein. Wir waren es auch.

Zum Testen haben zwei Mitglieder unseres Data Science-Teams genau denselben Satz von 1.000 Tweets als positiv, negativ oder neutral gekennzeichnet. Wir dachten uns: „Wir arbeiten jeden Tag mit Tweets. Wir werden wahrscheinlich eine nahezu perfekte Übereinstimmung zwischen uns beiden haben. '

Wir haben die Ergebnisse berechnet und sie dann doppelt und dreifach überprüft. Die Forschung war genau richtig - wir haben uns nur auf 73% der Tweets geeinigt.

Herausforderungen in der Stimmungsanalyse

Untersuchungen (zusammen mit unserem kleinen Experiment) zeigen, dass die Stimmungsanalyse nicht einfach ist. Warum ist es so schwierig? Lassen Sie uns einige der größten Herausforderungen durchgehen.

Kontext

Tweets sind eine winzige Momentaufnahme. Während einige eigenständig sind, sind Tweets oft Teil einer laufenden Konversation oder Referenzinformation, die nur dann sinnvoll ist, wenn Sie den Autor kennen. Ohne diese Hinweise kann es schwierig sein, die Gefühle eines Autors zu interpretieren.

Sarkasmus

Die Erkennung von Sarkasmus ist ein weiterer Aspekt der Kontextherausforderung. Ohne zusätzliche Informationen verwechseln Stimmungsanalysesysteme häufig die wörtliche Bedeutung von Wörtern mit ihrer Absicht. Sarkasmus ist ein aktives Gebiet der akademischen Forschung, daher werden wir in naher Zukunft möglicherweise Systeme sehen, die Snark verstehen.

Vergleiche

Die Stimmung wird auch schwierig, wenn Tweets Vergleiche anstellen. Wenn ich Marktforschung zu Gemüse und Tweets von jemandem durchführe, 'Karotten sind besser als Kürbis', ist dieser Tweet positiv oder negativ? Das hängt von Ihrer Perspektive ab. Ebenso könnte jemand twittern: 'Firma A ist besser als Firma B.' Wenn ich für Unternehmen A arbeite, ist dieser Tweet positiv, aber wenn ich bei Unternehmen B bin, ist er negativ.

Emojis

Emojis sind eine eigene Sprache . Während Emojis gerne ein ziemlich offensichtliches Gefühl ausdrücken, sind andere weniger universell. Beim Aufbau unseres Stimmungsanalysesystems haben wir uns genau angesehen, wie Menschen Emojis verwenden, und festgestellt, dass selbst gewöhnliche Emojis Verwirrung stiften können. wird fast gleichermaßen verwendet, um 'so glücklich, dass ich weine' oder 'so traurig, dass ich weine' zu bedeuten. Wenn sich Menschen nicht auf die Bedeutung eines Emoji einigen können, kann sich auch kein Stimmungsanalysesystem darauf einigen.

Neutral definieren

Selbst 'neutrale' Gefühle sind nicht immer einfach. Betrachten Sie eine Schlagzeile über ein tragisches Ereignis. Obwohl wir uns alle einig sind, dass die Veranstaltung schrecklich ist, sollen die meisten Schlagzeilen sachliche, informative Aussagen sein. Stimmungsanalysesysteme dienen dazu, die Emotionen des Autors des Inhalts zu identifizieren, nicht die Antwort des Lesers. Es mag seltsam erscheinen, schreckliche Nachrichten mit der Bezeichnung 'neutral' zu sehen, aber sie spiegeln die Absicht des Autors wider, sachliche Informationen zu übermitteln.

Stimmungsanalysesysteme unterscheiden sich auch darin, wie neutral definiert wird. Einige betrachten Neutral als Sammelkategorie für jeden Tweet, bei dem das System nicht zwischen positiv und negativ entscheiden kann. In diesen Systemen ist 'neutral' gleichbedeutend mit 'Ich bin nicht sicher'. In Wirklichkeit gibt es jedoch viele Tweets, die keine Emotionen ausdrücken, wie im folgenden Beispiel.

Unser System klassifiziert nicht-emotionale Tweets explizit als neutral, anstatt neutral als Standardbezeichnung für mehrdeutige Tweets zu verwenden.

Bewertung der Stimmungsanalyse

Bei so vielen Herausforderungen bei der Stimmungsanalyse lohnt es sich, Ihre Hausaufgaben zu machen, bevor Sie in ein neues Tool investieren. Anbieter versuchen, die Komplexität zu verringern, indem sie sich auf Statistiken über die Genauigkeit ihres Produkts konzentrieren. Die Genauigkeit ist jedoch nicht immer ein Vergleich von Äpfeln zu Äpfeln. Wenn Sie Genauigkeit als Messstab verwenden möchten, sollten Sie folgende Fragen stellen.

Ist die gemeldete Genauigkeit größer als 80%?
Da Menschen nur 60-80% der Zeit miteinander übereinstimmen, gibt es keine Möglichkeit, einen Testdatensatz zu erstellen, dem alle zustimmen, dass er die „richtigen“ Stimmungsbezeichnungen enthält. Wenn es um Gefühle geht, ist „richtig“ subjektiv. Mit anderen Worten, es gibt keinen Goldstandard für die Testgenauigkeit.

Bedeutung von 1144

Die Obergrenze für die Genauigkeit eines Stimmungsanalysesystems liegt immer in der Übereinstimmung auf menschlicher Ebene: etwa 80%. Wenn ein Anbieter eine Genauigkeit von mehr als 80% behauptet, ist es eine gute Idee, skeptisch zu sein. Aktuelle Forschungsergebnisse legen nahe, dass eine Genauigkeit von 80% unwahrscheinlich ist. Top-Experten auf diesem Gebiet erreichen in der Regel Genauigkeiten in der Mitte bis in die oberen 60er Jahre.

Wie viele Stimmungskategorien werden vorhergesagt?
Einige Anbieter bewerten die Genauigkeit nur für Tweets, die von menschlichen Bewertern als definitiv positiv oder negativ identifiziert wurden, mit Ausnahme aller neutralen Tweets. Es ist viel einfacher, dass die Genauigkeit eines Systems sehr hoch erscheint, wenn mit stark emotionalen Tweets und nur zwei möglichen Ergebnissen (positiv oder negativ) gearbeitet wird.

In freier Wildbahn sind die meisten Tweets jedoch neutral oder mehrdeutig. Wenn ein System nur mit positiv und negativ bewertet wird, ist es unmöglich zu wissen, wie gut das System mit neutralen Tweets zurechtkommt - der Großteil dessen, was Sie tatsächlich sehen werden.

Welche Arten von Tweets sind in ihrem Test-Set enthalten?
Ein Stimmungsanalysesystem sollte auf Tweets aufgebaut und getestet werden, die für die realen Bedingungen repräsentativ sind. Einige Stimmungsanalysesysteme werden mit domänenspezifischen Tweets erstellt, die gefiltert und bereinigt wurden, um das Verständnis für ein System so einfach wie möglich zu gestalten.

Beispielsweise hat ein Anbieter möglicherweise einen bereits vorhandenen Datensatz gefunden, der nur stark emotionale Tweets über die Luftfahrtindustrie enthält, wobei Spam- oder Off-Topic-Tweets ausgeschlossen sind. Dies würde zu einer hohen Genauigkeit führen, jedoch nur bei Verwendung auf sehr ähnlichen Tweets. Wenn Sie in einer anderen Domain arbeiten oder Off-Topic- oder Spam-Tweets erhalten, ist die Genauigkeit wesentlich geringer.

Wie groß war der Testdatensatz?
Stimmungsanalysesysteme sollten an mehreren tausend Tweets ausgewertet werden, um die Systemleistung in vielen verschiedenen Szenarien zu messen. Sie erhalten kein genaues Maß für die Genauigkeit eines Systems, wenn ein System nur an einigen hundert Tweets getestet wird.

Hier bei Sprout haben wir unser Modell auf einer Sammlung von 50.000 Tweets aufgebaut, die aus einer Zufallsstichprobe von Twitter gezogen wurden. Da unsere Tweets nicht domänenspezifisch sind, funktioniert unser Stimmungsanalysesystem in einer Vielzahl von Domänen gut.

Zusätzlich machen wir separate Vorhersagen für positive, negative und neutrale Kategorien. Wir wenden nicht nur neutral an, wenn andere Vorhersagen fehlschlagen. Unsere Genauigkeit wurde an 10.000 Tweets getestet, von denen keiner zum Aufbau des Systems verwendet wurde.

Sehen Sie Sprouts Stimmungsanalyse live mit Zuhörern

Die gesamte Forschung der Welt ist kein Ersatz für die Bewertung eines Systems aus erster Hand. Testen Sie unser neues Stimmungsanalysesystem mit unserem neuesten Social-Listening-Toolset. Zuhörer und sehen, wie es bei Ihnen funktioniert. Letztendlich ist das beste Social-Listening-Tool dasjenige, das Ihren Anforderungen entspricht und Ihnen hilft, mehr Wert aus dem sozialen Bereich zu ziehen. Lassen Sie uns Ihnen helfen, noch heute loszulegen.

Teile Mit Deinen Freunden: