KI-basiertes Content Monitoring

User Story
Landesanstalt für Medien NRW

KI-basiertes Content Monitoring

Um potenziell rechtswidrige Inhalte im Netz verlässlich zu identifizieren, benötigte die Landesanstalt für Medien NRW eine Lösung, die ihr Monitoring-Team entlastet und die Auswertung großer Datenmengen effizienter macht. Mit dem von Condat entwickelten, KI-basierten Analysetool KIVI lassen sich Inhalte aus Websites und sozialen Netzwerken zentral erfassen, automatisch prüfen und gezielt priorisieren – für klare Prozesse, mehr Schutz der Mitarbeitenden und eine wirksame Medienaufsicht.

Steigende
Fallzahlen

Belastende
Inhalte

Zeitaufwändige,
manuelle Sichtung

Fehlende Möglichkeiten zu priorisieren

Die Herausforderung

Die Landesanstalt für Medien NRW hat den gesetzlichen Auftrag, im Rahmen der Medienaufsicht gegen rechtswidrige Inhalte im Internet vorzugehen – darunter Verstöße gegen die Menschenwürde, gegen Hass und Gewaltdarstellung, Pornografie und andere jugendgefährdende Inhalte. Mit der stetig wachsenden Menge solcher Inhalte wuchs auch die Herausforderung, relevante Fälle zuverlässig zu identifizieren. Das Monitoring-Team musste große Datenmengen sichten, belastendes Material bewerten und zugleich kurze Reaktionszeiten gewährleisten – ein Prozess, der manuell nur mit hohem Aufwand und begrenzter Skalierbarkeit zu bewältigen war.

Die Lösung

Das Tool KIVI liest gemäß anlass- und aufgabenveranlasster Kriterien der Medienaufsicht Text-, Bild- und Videoinhalte aus Websites und sozialen Netzwerken ein und überprüft sie automatisiert auf relevante Merkmale. Durch intelligente Kategorisierung und Priorisierung konzentriert sich die manuelle Sichtung auf besonders kritische Inhalte. Ein Dashboard zeigt den Bearbeitungsstatus transparent an, ermöglicht den direkten Absprung in die Quellen und dokumentiert alle Schritte rechtssicher. Das System lernt kontinuierlich aus falsch-positiven Ergebnissen und verbessert die Klassifizierung fortlaufend.

Das Ergebnis

Das Monitoring-Team nutzt die Anwendung zur Priorisierung, Sichtung und Dokumentation rechtswidriger Inhalte und konnte seine Bearbeitungseffizienz deutlich steigern. Die Zahl der Strafanzeigen ließ sich bei gleichbleibenden Ressourcen nahezu verdoppeln. Die Lösung wird kontinuierlich weiterentwickelt, der Erkennungsalgorithmus regelmäßig trainiert. Seit 2022 nutzen auch die Medienanstalten der anderen Bundesländer das KI-Tool zur Medienaufsicht. Dieses ermöglicht auch eine häuserübergreifende Vernetzung beim gemeinsamen Kampf gegen rechtswidrige Inhalte im Netz.

Das sagt der Kunde

KIVI hilft uns, problematische Inhalte im Netz jetzt deutlich schneller zu identifizieren und zur Anzeige zu bringen. Seit der Einführung des Tools haben wir bereits mehr als 7.000 Verstöße in den Bereichen Hassrede und Jugendschutz gefunden. Der Einsatz dieser KI ist ein wesentlicher Schritt für die Durchsetzung von Recht im Netz und trägt damit entscheidend zur Sicherung einer demokratischen und rechtsstaatlichen Freiheit im Internet bei.
Dr. Tobias Schmid
Direktor, Landesanstalt für Medien NRW

KEY FEATURES

Das bietet die Solution

Digitale Inhalte werden systematisch erfasst und anhand definierter Kriterien bewertet, sodass große Datenmengen effizient vorgefiltert werden können.

Ein KI-Modell ordnet eingelesene Inhalte passenden Themen- und Relevanzklassen zu und schafft damit eine strukturierte Grundlage für die weitere Bearbeitung.

Analyseergebnisse werden in einer nachvollziehbaren Reihenfolge bereitgestellt, wodurch sich Teams auf besonders wichtige oder zeitkritische Fälle konzentrieren können.

Alle Schritte von der ersten Sichtung bis zum Abschluss eines Vorgangs werden nachvollziehbar abgelegt, was interne Abläufe erleichtert und Auswertungen ermöglicht.