Rückblick: Online-Veranstaltung „Hass und Hetze im Netz“

Hasskommentare und Hetze sind im Internet bedauerlicherweise allgegenwärtig geworden.

Welche Herausforderungen bei der Identifizierung von Hass und Hetze im Netz zu bewältigen sind, erläuterte Prof. Dr. Melanie Siegel in einer Online-Veranstaltung des Verbandes. Sie ist Computerlinguistin und Sprachtechnologin an der Hochschule Darmstadt.

Verbandsanwältin Eva-Maria Baranyai-Jehle informierte im Anschluss über arbeitsrechtliche Fragestellungen zu der Thematik.

Abgerundet wurde der Nachmittag durch Markus Wortmann (Hessisches Ministerium des Innern und für Sport, Abteilung Cyber- und IT-Sicherheit), der die Meldeplattform https://hessengegenhetze.de vorstellte.


Die Vortragsfolien zu den drei Tagesordnungspunkten finden Sie im Mitgliederbereich auf uvsh.de.


Im Nachgang zur Veranstaltung stand Frau Prof. Siegel uns für ein Interview zur Verfügung: 

Sehr geehrte Frau Prof. Siegel: Wie definieren Sie "Hate Speech"?
Es gibt einen klaren Unterschied zwischen Hate Speech und einer kontroversen Meinungsäußerung: Hate Speech richtet sich gegen eine Person oder gegen eine Gruppe, während eine kontroverse Meinungsäußerung sich gegen eine Meinung richtet. Also ist Hate Speech eine Beleidigung („Du bist ein ...“), eine Diskriminierung („Alle ... sind ...!“) oder eine Bedrohung („Ich werde Dich schlagen!“), im Gegensatz zur Meinungsäußerung („Ich halte dieses Argument für falsch.“). Dazu kommen noch das absichtliche Verbreiten von gefälschten Nachrichten (als klassisches Beispiel davon die Holocaust-Leugnung) und der Aufruf zur Gewalt.
Unscharf wird es dann, wenn es um Satire (= absichtliches Verbreiten von gefälschten Nachrichten) oder auch indirekte Beleidigungen geht.

Eine klare Definition ist nicht einfach, was man auch merkt, wenn man versucht, von Hand z.B. Tweets zu klassifizieren. Damit wird man keine 100%ige Übereinstimmung zwischen zwei Personen erreichen, die klassifizieren. Wir haben im Winter 2017 ca. 8.000 Tweets zu Dritt annotiert und dafür zunächst einige Wochen diskutiert, bevor wir 9-seitige Annotationsrichtlinien gemeinsam erarbeitet haben.


Wie verbreiten sich Hasskommentar und Hetze im Netz?
Es gibt Gruppen von sehr aktiven Personen, die gezielt Themen ausnutzen, um ihre Posts zu platzieren, z.B. in einer Diskussion darüber, dass sich jemand einen Impftermin wünscht, gegen Flüchtlinge hetzen, die ja alles „hinterher geschmissen“ bekämen oder dasselbe in einer Diskussion über die Höhe der Renten, der Mieten, der Preise allgemein. Es gibt oft sehr wenig Gegenrede, sodass die „Zuschauer“ das Gefühl bekommen, dass diese Art der Meinungsäußerung „normal“ ist. Hasskommentare werden gezielt in mehreren Gruppen gepostet, z.B. auch in lokalen Gruppen, mit denen die Trolle gar nichts zu tun haben. Das sind oft viele Posts, die regelmäßig gepostet werden, sodass diejenigen, die dagegenreden, oft überfordert sind.
Falsche Gerüchte werden manchmal auch gezielt verbreitet. Beispiele für solche falschen Gerüchte sind:

  • dass die LIDL-Filiale in einem Ort angeblich schließen musste, weil Flüchtlinge dort so viel stehlen würden
  • dass das Land Bremen angeblich Bordellgutscheine an Geflüchtete verteilt hätte
  • dass Annalena Baerbock angeblich die Witwenrente abschaffen wolle

Diese Gerüchte werden massenhaft geteilt (das geht auch teilweise automatisch) und damit verbreitet. Gleichzeitig wird das Vertrauen in die klassischen Medien gezielt zerstört.
Es wird sogar über „Troll-Armeen“ berichtet, die gezielt Unsicherheit in einer Gesellschaft streuen sollen.

Menschen tendieren dazu, Informationen zu vertrauen, die in ihr Weltbild passen. Google und die Netzwerke liefern personalisierte Informationen, personalisierte Angebote und personalisierte Vorschläge für Abonnements und „Freunde“. Das geschieht auf der Basis der Idee „Leute, die dieses mögen, mögen auch jenes“, einer automatisch generierten Prognose, die wir von Online-Portalen kennen. Das führt dazu, dass man andere Meinungen oder Informationen, die nicht zur eigenen Meinung passen oder Informationen, die nicht zu den eigenen Standard-Themen passen, praktisch nicht mehr sieht. Das kann man nicht einfach so umgehen, denn es basiert ja auf einem Algorithmus, es wird für einen entschieden.


Zur automatisierten Erkennung von Hate Speech wird auf den Einsatz von Künstlicher Intelligenz zurückgegriffen. Wie funktionieren solche KI-Modelle und welche Rolle spielen dabei Daten?
Die meisten Algorithmen des maschinellen Lernens funktionieren so, dass auf der Basis von annotierten Daten ein Modell berechnet wird. Mit „annotierten Daten“ meine ich, dass Personen Daten von Hand klassifizieren, wie wir das im Winter 2017 mit Twitter-Daten gemacht haben. Der Algorithmus schaut dann auf die „Eigenschaften“ der Texte im Zusammenhang mit der Annotation. Das können z.B. die Wörter sein, die in den als Hate Speech klassifizierten Texten häufiger vorkommen als in den als unproblematisch klassifizierten Texten. Weitere Eigenschaften sind auch Emojis oder Ausrufezeichen. Das berechnete Modell wird dann auf neue Texte angewendet und kann voraussagen, mit welcher Wahrscheinlichkeit diese zur Klasse „Hate Speech“ gehören.

Hier wird deutlich, dass es extrem wichtig ist, gute Daten als Grundlage für die Modellbildung zu haben. Gute Daten, das bedeutet, die Texte sind in der richtigen Sprache, bzw. Sprachvariante (also keine Zeitungstexte für Social-Media-Analysen), aus dem richtigen Themengebiet, aus dem richtigen Netzwerk, in ausreichender Menge und möglichst ausgewogen (in Bezug auf die Klassen). Gute Annotationen dieser Daten sind möglichst konsistent und entsprechen dem, was man automatisch erkennen will.

Es gibt auch Verfahren, die versuchen, mit weniger oder gar keinen annotierten Daten auszukommen, vor allem weil es schwer ist, wirklich gute Annotationen zu haben. Hier wird z.B. auf extrem großen (nicht annotierten) Datenmengen nach Ähnlichkeiten gesucht. Man kann damit z.B. feststellen, wie ähnlich ein Satz dem Satz „Du bist total doof“ ist, indem man automatisch lernt, welche Wörter in ähnlichen Kontexten stehen.


Wie schnell kann dabei auf den Wandel von Sprache reagiert werden?
Das ist ein sehr großes Problem. Nehmen Sie ein Thema, das neu aufkommt und in der Öffentlichkeit stark diskutiert wird, wie COVID-19. In diesem Zusammenhang sind sehr viele neue Wörter entstanden. Die Modelle, die wir 2019 entwickelt haben, werden auf diesen Daten nicht gut funktionieren und müssen neu trainiert werden.

In Ihrem Vortrag kategorisierten Sie Hate Speech in die beiden Kategorien implizit und explizit. Wie unterscheiden sich diese und welche Kategorie ist die größere Herausforderung für die automatisierte Erkennung?
Wenn wir an Hate Speech denken, dann eigentlich immer an explizite Äußerungen, in denen jemand eine andere Person direkt beleidigt, diskriminiert oder bedroht. Diese sind automatisiert recht gut erkennbar.
Aber es gibt auch sarkastische oder metaphorische Äußerungen, die auch für Menschen nicht einfach zu erkennen sind und die automatisch fast nicht zu klassifizieren sind. Ein Beispiel: „Dem Kommentar entnehme ich, dass auch ihre Schaukel als Kind zu nahe an der Wand gestanden hat.“


Soziale Netzwerke sehen sich immer wieder dem Vorwurf ausgesetzt, dass sie zu wenig Engagement gegen Hasskommentare und Hetze in ihren Netzwerken aufbringen. Wie ist Ihre Einschätzung dazu?
Ich denke eigentlich, dass man dies nicht den Netzwerken allein überlassen darf. Diese sind vor die wirklich schwierige Entscheidung gestellt, ob Äußerungen Hate Speech sind und gefiltert werden müssen oder nicht. Das sollte aber eigentlich eine Entscheidung der Gesellschaft sein, nicht die von privaten Unter­nehmen.
Da die Modelle zur Klassifizierung auf der Basis von annotierten Daten entstehen, wie oben geschildert, meine ich, dass diese Annotationen durch demokratisch legitimierte Institutionen durchgeführt werden müssten. Die Netzwerke müssten die Daten, die sie filtern, zur Verfügung stellen, damit überprüft werden kann, ob die Modelle gut und richtig im Sinne der Erhaltung der Demokratie funktionieren. Wenn sie das nicht tun sollten, müssen die Daten neu (von Hand) klassifiziert werden, sodass die Modelle neu trainiert werden können.