Bild: agsandrew

Yahoo hat einen KI-Algorithmus entwickelt, der laut Berichten bis zu 90 Prozent der missbräuchlichen Kommentare im Internet richtig erkennt und damit andere tiefgreifende "State-of-the-Art" -Algorithmen übertrifft, so ein Bericht der Entwickler des Algorithmus.

"Die automatische Erkennung missbräuchlicher Sprache im Internet ist zwar ein wichtiges Thema und eine wichtige Aufgabe, die vorherige [Missbrauchserkennung] war jedoch nicht sehr vereinheitlicht, so dass der Fortschritt verlangsamt wird ", schrieben die Entwickler.

SEHEN SIE AUCH: Leslie Jones kehrt nach dem Sieg gegen rassistische Trolle zu Twitter zurück

Der Algorithmus verwendete eine Mischung aus Machine Learning und Crowdsourcing-Missbrauchserkennung, um die Kommentarteile von Yahoo News and Finance zu scannen.

Derzeit sind die meisten missbräuchlichen Sprachdetektoren auf Schlüsselwörtern basierende Systeme. Das Problem ist, dass der Täter bestimmte Wörter meidet, um die Filter zu umgehen oder einen neuen Slang zu finden. Darüber hinaus können diese Systeme schlecht für Kontext oder Sarkasmus lesen.

Yahoo hingegen ging ein wenig tiefer und konnte die Antworten anhand der Länge der Kommentare und Wörter, der Anzahl der Satzzeichen, der URLs und der Großbuchstaben nachverfolgen. Es verfolgte auch die Verwendung von "Höflichkeitswörtern", modalen Verben (wie "könnte", "würde" oder "sollte", die entweder auf Hedging oder einen zuversichtlichen Sprecher hindeuten) und "beleidigen und hassen Blacklist-Wörter". Alles in allem übertraf der Algorithmus die alten Detektoren von Yahoo um etwa 10 Prozent.

Alles in allem übertraf der Algorithmus die alten Detektoren von Yahoo um etwa 10 Prozent

Speziell ausgebildete Mitarbeiter von Yahoo haben dieselben Kommentare angesehen und als missbräuchlich eingestuft oder nicht, was dazu beitrug, dass der Algorithmus darin trainiert wurde, nach implizitem Missbrauch zu suchen. (Die kommentierte Datenbank dessen, was als missbräuchlich markiert wurde, wird bald online auf Yahoo Webscope verfügbar sein.)

Yahoo hat auch Missbrauchsbewertungen von Amazon Mechanical Turk gemacht, wodurch sich jeder anmelden und nach Bildern oder Sprache filtern kann. Die Teilnehmer erhielten 0,02 USD für jeden Kommentar, den sie als missbräuchlich eingestuft haben oder nicht. Diese Leute waren jedoch nicht in der Missbrauchsaufklärung wie die Mitarbeiter von Yahoo ausgebildet worden, und es wurde festgestellt, dass sie viel schlimmer waren. Das menschliche Urteilsvermögen ist also auch bei der KI für die Operation von entscheidender Bedeutung.

Letztendlich kann das Programm stark eingeschränkt sein, da Missbrauch immer noch von Yahoo selbst und nicht von den Benutzern definiert wird - im Gegensatz zu den neuen Maßnahmen gegen Belästigung von Instagram, mit denen Benutzer Kommentare mit bestimmten Wörtern herausfiltern können. Das Programm kann möglicherweise auch keine gefälschten Konten finden oder durch missbräuchliche Bilder oder Videos filtern, die bei einem Benutzer getwittert wurden, was bei Leslie Jones auf Twitter der Fall war.

Einige Websites haben auch doppelte Standards, wenn es um ihre Community-Richtlinien geht. Auf Facebook wies die australische Journalistin und feministische Aktivistin Clementine Ford darauf hin, dass sie blockiert worden sei, weil sie einen Mann zum "Fick" aufgefordert hatte, während jemand, der sie eine "kranke Hure" nannte, nicht gekennzeichnet worden war. Dieser Posten wurde letztendlich entfernt, aber die Situation ist ein gutes Beispiel dafür, wie differenziert bestimmt werden kann, was beleidigend ist und was nicht.

Zum Beispiel argumentieren Kritiker, dass die Körper von Frauen oft unnötig überwacht werden, wobei Bilder mit Frauensaugern oder Epochenflecken zensiert werden.

Trotzdem bleibt das Team bei Yahoo optimistisch.

"Da die Anzahl der von Nutzern generierten Inhalte schnell anwächst, ist es notwendig, genaue, automatisierte Methoden zu verwenden, um missbräuchliche Sprache zu kennzeichnen", schrieben sie. "In unserer Arbeit machen wir einen großen Schritt nach vorne."

Haben Sie etwas zu dieser Geschichte hinzuzufügen? Teilen Sie es in den Kommentaren.

Tipp Der Redaktion Jul 17 2019